你知道怎样解除百度蜘蛛限制吗?-SEO知识-您的搜索引擎导航网站-企爱搜

企爱搜

  • 常用
  • 站内搜索
  • 百度
  • 头条
  • 微信
  • 微博
  • 360
  • 搜狗
首页 > 菜鸟教程 > SEO知识 > 你知道怎样解除百度蜘蛛限制吗?

SEO知识

你知道怎样解除百度蜘蛛限制吗?

如果你在优化过程中,一定要仔细观察网站日志、网站收录百度蜘蛛访问等情况,因为有时候自己也不清楚设置错了,导致网站数据一直处于下降状态,一直也做不好,这个时候需要考虑到,是不是百度蜘蛛被限制或者是其它原因,我们需要一个个去排除,比如常见 robots封禁、封禁百度UA、封禁百度IP这三种。

(1) 查看robots.txt文件,是否存在封禁记录。(一般robots.txt文件放置在网站根目录下。)

(2)robots文件无异常,进一步排查是否存在封禁百度UA情况;

方案一:执行 curl –head –user-agent ‘Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)’ –request GET ‘xxxxxxx’

注:正常返回码是200,其他情况为异常。

方案二:变更浏览器UA验证;

(3)以上验证均无异常,最后进一步排查是否存在IP级别的封禁;

常见的IP封禁,源自网站的防火墙系统配置,需要查看防火墙配置系统后台,检查是否存在百度蜘蛛的IP级别封禁措施。