【baiduspider】百度蜘蛛叫Baiduspider不是baidubotzTO大连网站建设_小程序开发_网络推广_六兄弟科技
zTO大连网站建设_小程序开发_网络推广_六兄弟科技
今天又遇到有同学问我关于ROBOTS该如何去写的问题，这里整理下给大家，其实也都是来源于网路上，注意百度的蜘蛛叫做Baiduspider而不是baidubot，谷歌的叫做googlebot。zTO大连网站建设_小程序开发_网络推广_六兄弟科技
zTO大连网站建设_小程序开发_网络推广_六兄弟科技
1、禁止所有搜索引擎访问网站的任何部分zTO大连网站建设_小程序开发_网络推广_六兄弟科技
zTO大连网站建设_小程序开发_网络推广_六兄弟科技
User-agent:*zTO大连网站建设_小程序开发_网络推广_六兄弟科技
zTO大连网站建设_小程序开发_网络推广_六兄弟科技
Disallow:/zTO大连网站建设_小程序开发_网络推广_六兄弟科技
zTO大连网站建设_小程序开发_网络推广_六兄弟科技
2、允许所有的robot访问(或者也可以建一个空文件"/robots.txt")zTO大连网站建设_小程序开发_网络推广_六兄弟科技
zTO大连网站建设_小程序开发_网络推广_六兄弟科技
User-agent:*zTO大连网站建设_小程序开发_网络推广_六兄弟科技
zTO大连网站建设_小程序开发_网络推广_六兄弟科技
Allow:/zTO大连网站建设_小程序开发_网络推广_六兄弟科技
zTO大连网站建设_小程序开发_网络推广_六兄弟科技
另一种写法是zTO大连网站建设_小程序开发_网络推广_六兄弟科技
zTO大连网站建设_小程序开发_网络推广_六兄弟科技
User-agent:*zTO大连网站建设_小程序开发_网络推广_六兄弟科技
zTO大连网站建设_小程序开发_网络推广_六兄弟科技
Disallow:zTO大连网站建设_小程序开发_网络推广_六兄弟科技
zTO大连网站建设_小程序开发_网络推广_六兄弟科技
3、仅禁止Baiduspider访问您的网站zTO大连网站建设_小程序开发_网络推广_六兄弟科技
zTO大连网站建设_小程序开发_网络推广_六兄弟科技
User-agent:BaiduspiderzTO大连网站建设_小程序开发_网络推广_六兄弟科技
zTO大连网站建设_小程序开发_网络推广_六兄弟科技
Disallow:/zTO大连网站建设_小程序开发_网络推广_六兄弟科技
zTO大连网站建设_小程序开发_网络推广_六兄弟科技
4、仅允许Baiduspider访问您的网站zTO大连网站建设_小程序开发_网络推广_六兄弟科技
zTO大连网站建设_小程序开发_网络推广_六兄弟科技
User-agent:BaiduspiderzTO大连网站建设_小程序开发_网络推广_六兄弟科技
zTO大连网站建设_小程序开发_网络推广_六兄弟科技
Allow:/zTO大连网站建设_小程序开发_网络推广_六兄弟科技
zTO大连网站建设_小程序开发_网络推广_六兄弟科技
5、禁止spider访问特定目录zTO大连网站建设_小程序开发_网络推广_六兄弟科技
zTO大连网站建设_小程序开发_网络推广_六兄弟科技
在这个例子中，该网站有三个目录对搜索引擎的访问做了限制，即robot不会访问这三个目录。需要注意的是对每一个目录必须zTO大连网站建设_小程序开发_网络推广_六兄弟科技
zTO大连网站建设_小程序开发_网络推广_六兄弟科技
分开声明，而不能写成"Disallow:/cgi-bin//tmp/"。zTO大连网站建设_小程序开发_网络推广_六兄弟科技
zTO大连网站建设_小程序开发_网络推广_六兄弟科技
User-agent:*zTO大连网站建设_小程序开发_网络推广_六兄弟科技
zTO大连网站建设_小程序开发_网络推广_六兄弟科技
Disallow:/cgi-bin/zTO大连网站建设_小程序开发_网络推广_六兄弟科技
zTO大连网站建设_小程序开发_网络推广_六兄弟科技
Disallow:/tmp/zTO大连网站建设_小程序开发_网络推广_六兄弟科技
zTO大连网站建设_小程序开发_网络推广_六兄弟科技
Disallow:/~joe/zTO大连网站建设_小程序开发_网络推广_六兄弟科技
zTO大连网站建设_小程序开发_网络推广_六兄弟科技
6、允许访问特定目录中的部分urlzTO大连网站建设_小程序开发_网络推广_六兄弟科技
zTO大连网站建设_小程序开发_网络推广_六兄弟科技
User-agent:*zTO大连网站建设_小程序开发_网络推广_六兄弟科技
zTO大连网站建设_小程序开发_网络推广_六兄弟科技
Allow:/cgi-bin/seezTO大连网站建设_小程序开发_网络推广_六兄弟科技
zTO大连网站建设_小程序开发_网络推广_六兄弟科技
Allow:/tmp/hizTO大连网站建设_小程序开发_网络推广_六兄弟科技
zTO大连网站建设_小程序开发_网络推广_六兄弟科技
Allow:/~joe/lookzTO大连网站建设_小程序开发_网络推广_六兄弟科技
zTO大连网站建设_小程序开发_网络推广_六兄弟科技
7、使用"*"限制访问urlzTO大连网站建设_小程序开发_网络推广_六兄弟科技
zTO大连网站建设_小程序开发_网络推广_六兄弟科技
禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。zTO大连网站建设_小程序开发_网络推广_六兄弟科技
zTO大连网站建设_小程序开发_网络推广_六兄弟科技
User-agent:*zTO大连网站建设_小程序开发_网络推广_六兄弟科技
zTO大连网站建设_小程序开发_网络推广_六兄弟科技
Disallow:/cgi-bin/*.htmzTO大连网站建设_小程序开发_网络推广_六兄弟科技
zTO大连网站建设_小程序开发_网络推广_六兄弟科技
8、使用"$"限制访问urlzTO大连网站建设_小程序开发_网络推广_六兄弟科技
zTO大连网站建设_小程序开发_网络推广_六兄弟科技
仅允许访问以".htm"为后缀的URL。zTO大连网站建设_小程序开发_网络推广_六兄弟科技
zTO大连网站建设_小程序开发_网络推广_六兄弟科技
User-agent:*zTO大连网站建设_小程序开发_网络推广_六兄弟科技
zTO大连网站建设_小程序开发_网络推广_六兄弟科技
Allow:/.htm$zTO大连网站建设_小程序开发_网络推广_六兄弟科技
zTO大连网站建设_小程序开发_网络推广_六兄弟科技
9、禁止访问网站中所有的动态页面zTO大连网站建设_小程序开发_网络推广_六兄弟科技
zTO大连网站建设_小程序开发_网络推广_六兄弟科技
User-agent:*zTO大连网站建设_小程序开发_网络推广_六兄弟科技
zTO大连网站建设_小程序开发_网络推广_六兄弟科技
Disallow:/*?*zTO大连网站建设_小程序开发_网络推广_六兄弟科技
zTO大连网站建设_小程序开发_网络推广_六兄弟科技
10、禁止Baiduspider抓取网站上所有图片zTO大连网站建设_小程序开发_网络推广_六兄弟科技
zTO大连网站建设_小程序开发_网络推广_六兄弟科技
仅允许抓取网页，禁止抓取任何图片。zTO大连网站建设_小程序开发_网络推广_六兄弟科技
zTO大连网站建设_小程序开发_网络推广_六兄弟科技
User-agent:BaiduspiderzTO大连网站建设_小程序开发_网络推广_六兄弟科技
zTO大连网站建设_小程序开发_网络推广_六兄弟科技
Disallow:/*.jpg$zTO大连网站建设_小程序开发_网络推广_六兄弟科技
zTO大连网站建设_小程序开发_网络推广_六兄弟科技
Disallow:/*.jpeg$zTO大连网站建设_小程序开发_网络推广_六兄弟科技
zTO大连网站建设_小程序开发_网络推广_六兄弟科技
Disallow:/*.gif$zTO大连网站建设_小程序开发_网络推广_六兄弟科技
zTO大连网站建设_小程序开发_网络推广_六兄弟科技
Disallow:/*.png$zTO大连网站建设_小程序开发_网络推广_六兄弟科技
zTO大连网站建设_小程序开发_网络推广_六兄弟科技
Disallow:/*.bmp$zTO大连网站建设_小程序开发_网络推广_六兄弟科技
zTO大连网站建设_小程序开发_网络推广_六兄弟科技
11、仅允许Baiduspider抓取网页和gif格式图片zTO大连网站建设_小程序开发_网络推广_六兄弟科技
zTO大连网站建设_小程序开发_网络推广_六兄弟科技
允许抓取网页和gif格式图片，不允许抓取其他格式图片zTO大连网站建设_小程序开发_网络推广_六兄弟科技
zTO大连网站建设_小程序开发_网络推广_六兄弟科技
User-agent:BaiduspiderzTO大连网站建设_小程序开发_网络推广_六兄弟科技
zTO大连网站建设_小程序开发_网络推广_六兄弟科技
Allow:.gif$zTO大连网站建设_小程序开发_网络推广_六兄弟科技
zTO大连网站建设_小程序开发_网络推广_六兄弟科技
Disallow:/.jpg$zTO大连网站建设_小程序开发_网络推广_六兄弟科技
zTO大连网站建设_小程序开发_网络推广_六兄弟科技
Disallow:/.jpeg$zTO大连网站建设_小程序开发_网络推广_六兄弟科技
zTO大连网站建设_小程序开发_网络推广_六兄弟科技
Disallow:/.png$zTO大连网站建设_小程序开发_网络推广_六兄弟科技
zTO大连网站建设_小程序开发_网络推广_六兄弟科技
Disallow:/.bmp$zTO大连网站建设_小程序开发_网络推广_六兄弟科技
zTO大连网站建设_小程序开发_网络推广_六兄弟科技
12、仅禁止Baiduspider抓取jpg格式图片zTO大连网站建设_小程序开发_网络推广_六兄弟科技
zTO大连网站建设_小程序开发_网络推广_六兄弟科技
User-agent:BaiduspiderzTO大连网站建设_小程序开发_网络推广_六兄弟科技
