网站优化资讯
seo优化资讯

【baiduspider】百度蜘蛛叫Baiduspider不是baidubot

首页 > 网站优化

网站优化 2019-05-19 13:25:28 | 阅:

  【baiduspider】百度蜘蛛叫Baiduspider不是baidubotoID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技
 oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技

  今天又遇到有同学问我关于ROBOTS该如何去写的问题,这里整理下给大家,其实也都是来源于网路上,注意百度的蜘蛛叫做Baiduspider而不是baidubot,谷歌的叫做googlebot。oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技
 oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技

  1、禁止所有搜索引擎访问网站的任何部分oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技
 oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技

  User-agent:*oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技
 oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技

  Disallow:/oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技
 oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技

  2、允许所有的robot访问(或者也可以建一个空文件"/robots.txt")oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技
 oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技

  User-agent:*oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技
 oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技

  Allow:/oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技
 oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技

  另一种写法是oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技
 oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技

  User-agent:*oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技
 oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技

  Disallow:oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技
 oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技

  3、仅禁止Baiduspider访问您的网站oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技
 oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技

  User-agent:BaiduspideroID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技
 oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技

  Disallow:/oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技
 oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技

  4、仅允许Baiduspider访问您的网站oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技
 oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技

  User-agent:BaiduspideroID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技
 oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技

  Allow:/oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技
 oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技

  5、禁止spider访问特定目录oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技
​​​​​​oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技

  在这个例子中,该网站有三个目录对搜索引擎的访问做了限制,即robot不会访问这三个目录。需要注意的是对每一个目录必须oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技
 oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技

  分开声明,而不能写成"Disallow:/cgi-bin//tmp/"。oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技
 oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技

  User-agent:*oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技
 oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技

  Disallow:/cgi-bin/oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技
 oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技

  Disallow:/tmp/oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技
 oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技

  Disallow:/~joe/oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技
 oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技

  6、允许访问特定目录中的部分urloID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技
 oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技

  User-agent:*oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技
 oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技

  Allow:/cgi-bin/seeoID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技
 oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技

  Allow:/tmp/hioID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技
 oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技

  Allow:/~joe/lookoID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技
 oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技

  7、使用"*"限制访问urloID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技
 oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技

  禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技
 oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技

  User-agent:*oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技
 oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技

  Disallow:/cgi-bin/*.htmoID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技
 oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技

  8、使用"$"限制访问urloID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技
 oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技

  仅允许访问以".htm"为后缀的URL。oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技
 oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技

  User-agent:*oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技
 oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技

  Allow:/.htm$oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技
 oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技

  9、禁止访问网站中所有的动态页面oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技
 oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技

  User-agent:*oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技
 oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技

  Disallow:/*?*oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技
 oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技

  10、禁止Baiduspider抓取网站上所有图片oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技
 oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技

  仅允许抓取网页,禁止抓取任何图片。oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技
 oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技

  User-agent:BaiduspideroID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技
 oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技

  Disallow:/*.jpg$oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技
 oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技

  Disallow:/*.jpeg$oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技
 oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技

  Disallow:/*.gif$oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技
 oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技

  Disallow:/*.png$oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技
 oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技

  Disallow:/*.bmp$oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技
 oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技

  11、仅允许Baiduspider抓取网页和gif格式图片oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技
 oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技

  允许抓取网页和gif格式图片,不允许抓取其他格式图片oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技
 oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技

  User-agent:BaiduspideroID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技
 oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技

  Allow:.gif$oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技
 oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技

  Disallow:/.jpg$oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技
 oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技

  Disallow:/.jpeg$oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技
 oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技

  Disallow:/.png$oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技
 oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技

  Disallow:/.bmp$oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技
 oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技

  12、仅禁止Baiduspider抓取jpg格式图片oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技
 oID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技

  User-agent:BaiduspideroID大连网站建设_小程序开发_网络推广_大连六兄弟网络科技




作者:六兄弟科技

来源:https://www.6xd.net/
By 六兄弟网络科技(大连)网站建设

相关资讯