仅允许百度抓取网页和gif格式图片，不允许抓取其他格式图片 Useragent Baiduspider Allow *gif Disallow *jpg Disallow *jpeg Disallow *png Disallow *bmp$ 1屏蔽404页面 Disallow 404html 2。

1 第一种方法需要我们使用robotstxt屏蔽百度蜘蛛抓取下图所示页面2 屏蔽效果如下图所示3 除此以外，我们也可以通过使用robotsMeta标签，屏蔽搜索引擎抓取，在头部加入下图红框所圈代码即可4 屏蔽代码如下图所示。

首先你要检查一下robotstxt文件是否设置正确，然后看网站打开是否正常，还要看网站速度是否正常以上这几点都有可能曩蜘蛛抓取的，如果有问题就忙处理还有一种情况，有时候是蜘蛛自己的问题这个我以前就遇到过你可以尝试。

如果真的不希望百度蜘蛛抓取js和css，可以通过robotstxt屏蔽，在网站根目录新建一个robotstxt，内容为如果禁止所有搜索引擎抓取js和css文件，将下面的Useragent baiduspider改为Useragent *用户代理baiduspider 不。

1Robotstxt 文件应该放在网站根目录下，并且该文件是可以通过互联网进行访问的2在这个TXT中添加Useragent BaiduspiderDisallow 保存即可。

在网站的根目录下上传robots文件禁止百度抓取网站所有页面robots文件的写法新建一个TXT文档，命名为robots，双击打开，输入以下内容保存Useragent Baiduspider Disallow 扩展Baiduspider是指百度蜘蛛，不让百度抓取。

如果不希望百度或 Google抓取网站内容，就需要在服务器的根目录中放入一个 robotstxt 文件，其内容如下UserAgent *Disallow 这是大部份网络漫游器都会遵守的标准协议，加入这些协议后，它们将不会再漫游您的网络服务。