如果你在优化过程中，一定要仔细观察网站日志、网站收录、百度蜘蛛访问等情况，因为有时候自己也不清楚设置错了，导致网站数据一直处于下降状态，一直也做不好，这个时候需要考虑到，是不是百度蜘蛛被限制或者是其它原因，我们需要一个个去排除，比如常见 robots封禁、封禁百度UA、封禁百度IP这三种。

(1) 查看robots.txt文件，是否存在封禁记录。(一般robots.txt文件放置在网站根目录下。)

(2)robots文件无异常，进一步排查是否存在封禁百度UA情况;

方案一：执行 curl –head –user-agent ‘Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)’ –request GET ‘xxxxxxx’

注：正常返回码是200，其他情况为异常。

方案二：变更浏览器UA验证;

(3)以上验证均无异常，最后进一步排查是否存在IP级别的封禁;

常见的IP封禁，源自网站的防火墙系统配置，需要查看防火墙配置系统后台，检查是否存在百度蜘蛛的IP级别封禁措施。