1、编辑代码如下Useragent *Disallow 网页代码方法 在网站首页代码与之间，加入代码，此标记禁止搜索引擎抓取网站并显示网页快照在网站首页代码与之间，加入即可禁止百度搜索引擎抓取网站并显示网页快照在网站首页代码与之间，加入即可禁止谷歌搜索引擎抓取网站并显示网页快照。

2、3联系百度管理人员，信箱地址为webmaster@baiducom，用网站联系人信箱发电邮，如实说明删除网页快照的情况，经百度核实后，网页停止收录抓取4登陆百度自己的“百度快照”帖吧和“百度投诉”帖吧，发个帖子，表明删除网页收录网站快照的原因，当百度管理人员，看到会给予处理如何禁止Google搜索引擎收录。

3、UseragentDisallow css Disallow admin 禁止所有搜索引擎访问css 和admin 目录，将CSS或admin目录修改为你指定的文件目录或文件即可第二种网页代码方法 与之间，加入代码，此标记禁止搜索引擎抓取网站并显示网页快照注已经加了禁止代码，但是搜索引擎还可以搜索出来，因为搜索引擎索引数据库。

4、可以将该内容添加nofollow标签，格式如下内容。

5、方法一1 第一种方法需要我们使用robotstxt屏蔽百度蜘蛛抓取下图所示页面2 屏蔽效果如下图所示3 除此以外，我们也可以通过使用robotsMeta标签，屏蔽搜索引擎抓取，在头部加入下图红框所圈代码即可4 屏蔽代码如下图所示方法二1 通过使用htaccess，将下图红框所圈代码屏蔽2 然后再。

6、在网页代码与的之间，加入nofollow属性如果是超链接，就是标签里加入rel=quotnofollowquot即可。

7、1登录wordpress网站后台 2进入wordpress后台后，点击“设置”按钮 3然后再点击“阅读”4然后找到“建议搜索引擎不索引本站点”前面的框框，然后勾选这个框框，然后点击“保存更改”即可 二上传robots文件的方式 1先在本地创建一个robots文件robotstxt 2然后在robots文件里面写入静止搜索引擎抓取。

8、没有针对搜索引擎的屏蔽代码如果不想网站内容被搜索引擎抓取就在网站根目录建立一个robotstxt文件内容填写为UseragentDisallow 如果只是要屏蔽百度搜索蜘蛛，那就是 Useragentbaiduspider Disallow 把这个文件放入根目录，搜索引擎会遵循协议，不再去抓取网站的内容了。

9、比如允许百度收录，按如下的方式写Useragent baiduspider DisallowUseragentDisallow 5禁止搜索引擎访问某些目录 UseragentDisallow cgibin Disallow tmp Disallow images 使用方法很简单，将代码存为一个文本文件，命名为Robotstxt ，放在网页根目录即可。

10、原来在目录为158下的所有链接，因为目录地址的改变，现在都变成死链接了，那么我们可以用robotstxt把他屏蔽掉Disallow 158 3屏蔽动态的相似页面 假设以下这两个链接，内容其实差不多XXX？123123html我们要屏掉XXX？123 页面，代码如下Disallow XXX？ 4告诉搜索引擎你的。

11、基本语法示例如下UseragentDisallow 上述代码表示禁止所有搜索引擎抓取网站任何内容若要允许所有页面被抓取，只需删除或保留一个空的robotstxt文件允许特定搜索引擎抓取时，需要在Useragent后指定搜索引擎名称以下是robotstxt文件的不同写法及其用途1 禁止所有搜索引擎抓取任何页面User。

12、在网站的根目录下上传robots文件禁止百度抓取网站所有页面robots文件的写法新建一个TXT文档，命名为robots，双击打开，输入以下内容保存Useragent Baiduspider Disallow 扩展Baiduspider是指百度蜘蛛，不让百度抓取，如果是不希望所有的搜索引擎比如还有360，搜狗，谷歌等抓取，可把Baiduspider。

13、三禁止某个目录被搜索引擎蜘蛛抓取，设置代码如下UseragentDisallow 目录名字1 Disallow 目录名字2 Disallow 目录名字3 把目录名字改为你想要禁止的目录即可禁止搜索引擎蜘蛛抓取，目录名字未写表示可以被搜索引擎抓取四禁止某个目录被某个搜索引擎蜘蛛抓取，设置代码如下Useragent。

14、如果只是禁止某一个搜索引擎抓取收录网站的某一个目录，比如要禁止百度抓取收录jinzhi目录，则如图设置保存文件后，把文件上传到服务器根目录，即表示搜索引擎和网站之间的协议生效，可以禁止搜索引擎抓取收录网站内容5 除了设置robots协议之外，还可以在网页代码里面设置在网页之间加入代码表示紧致所有。

15、403状态码象征着一个明确的拒绝信号，它表示访问被禁止或者不被允许当遇到这个代码时，意味着网站可能设置了权限限制，或者网页内容当前不对外公开百度搜索引擎在遇到403返回码时，会采取一定的策略对于新发现的链接，蜘蛛会暂时不抓取，等待一段时间后再重新尝试访问对于已收录的链接，即使被禁止访问。

16、MJ12bot蜘蛛可能影响较小，因其主要服务于国际用户但该蜘蛛的抓取操作仍会轻度增加服务器负担，特别是在高流量时段，影响可能更为明显若不希望在网站日志中出现MJ12bot蜘蛛的访问记录，可直接在robotstxt文件中将其屏蔽由于MJ12bot蜘蛛遵循robots协议，此操作即可实现对其的屏蔽屏蔽代码如下。