某些页面不想给搜索引擎抓取有什么方法?-今日话题-您的搜索引擎导航网站-企爱搜

企爱搜

  • 常用
  • 站内搜索
  • 百度
  • 头条
  • 微信
  • 微博
  • 360
  • 搜狗
首页 > 今日话题 > 某些页面不想给搜索引擎抓取有什么方法?

今日话题

某些页面不想给搜索引擎抓取有什么方法?

比如某些页面不想给搜索引擎抓取有什么方法呢?如果你是一名SEO技术人员,应该懂得如何去限制抓取,但是对于初学者的朋友并不懂,我简单来说说,如百度搜索引擎,会使用robots文件来限制页面抓取,那么什么是robots文件?它的作用是什么?

首先我们要了解什么是robots文件,用来告知搜索引擎哪些页面能被抓取,哪些页面不能被抓取;而它的作用是可以屏蔽一些网站中比较大的文件,如:图片,音乐,视频等,节省服务器带宽;可以屏蔽站点的一些死链接。方便搜索引擎抓取网站内容;设置网站地图连接,方便引导蜘蛛爬取页面。

robots文件设置好,需要存放到服务器根目录才会生效,如果上传位置错误,是无法生效。提醒一下百度会严格遵守robots的相关协议,请注意区分您不想被抓取或收录的目录的大小写,百度会对robots中所写的文件和您不想被抓取和收录的目录做精确匹配,否则robots协议无法生效。