txt 下面是内容 UseragentDisallow 以上可以直接复制，表示所有搜索引擎，禁止抓取本站任何内容 风险使用屏蔽后，就算删除该文件，网站也会长时间不收录，至少半年 做完robotstxt用FTP上传到网站服务器的根目录。

所以我们要屏蔽这样的动态页面，从而降低我们网页的重复页面那么我们只要在robotstxt文件里面，加上这样的代码就行了quotDisallow*？*”这个代码的意思是根目录下个所有动态禁止搜索引擎访问。

您可以在您的网站中创建一个robotstxt，在文件中声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robotstxt文件如果您希望搜索。

方法一1 第一种方法需要我们使用robotstxt屏蔽百度蜘蛛抓取下图所示页面2 屏蔽效果如下图所示3 除此以外，我们也可以通过使用robotsMeta标签，屏蔽搜索引擎抓取，在头部加入下图红框所圈代码即可4 屏蔽代码如。

取消百度收录，你的意思是不想被百度收录网站么，直接robots编写拒绝全站收录，如同淘宝一样将robots文件放到根目录百度就不会收录和抓取网页了UseragentDisallow robots用法使用说明。

你可以通过设置根目录下的robotstxt 文件来限制百度收入robotstxt必须放置在一个站点的根目录下，而且文件名必须全部小写robotstxt文件的格式 Useragent 定义搜索引擎的类型 Disallow 定义禁止搜索引擎收录的地址 Allo。