robots协议是什么?robots协议的重要性

什么是robots

robots是一个文件,用txt文本文档写成的一个文件。robots的主要作用为以下几个方向:

1.告诉蜘蛛应该抓取哪些页面,哪些页面不需要抓取。

2。指引蜘蛛抓取的方式,你是图片蜘蛛,你就去上图片的文件夹去找,你是文本蜘蛛那你就去文本的文件夹里面去抓取。

如何写robots协议

在说如何写robots协议之前呢,我们先知道百度、谷歌、360、搜狗、神马这几个浏览器的蜘蛛都叫什么名字:

百度蜘蛛: Baiduspider
百度图片蜘蛛:Baiduspider-image
谷歌图片蜘蛛: googlebot-image
谷歌蜘蛛: googlebot

协议中的几个常用命令:

User-agent 蜘蛛的名称

Disallow: 不允许抓取的目录

Allow :允许抓取的目录

*:通配符 指所有的目录或者所有的蜘蛛名称

robots应该放在哪里

robots在编写完成以后,将robots.txt 注意都是小写的哈!没有大写的,放在网站的根目录下面,也就是你服务器端的www文件夹下面,如果你这里有手机站和PC站,那么手机站的robots要放在手机站的根目录下面,pc站的要放在pc站的根目录下面。


转载声明:本文中的图片以及文字纯属自己原创,如有转载请注明出处鸿叶同学の小屋


评论