欢迎光临
我们一直在努力

各大搜索引擎蜘蛛名称及勤劳度分析

sousuobotxj

根据线上空间的访问日志来整理常见的蜘蛛名称,不求最全,但力求爬虫信息资料最新最准确。以下搜索引擎蜘蛛名称都是根据线上空间日志亲手提取。
其实有效常用的搜索引擎就那么几个,只要在robots.txt文件里把常用的几个搜索引擎蜘蛛允许放行就好了,其它的爬虫统统通过通配符(*)禁止掉,屏蔽某些蜘蛛。

现况:

从网上获取的搜索引擎蜘蛛名称,几乎都是原文复制粘贴的转载又转载的文章,而且很多的资料都是过期的了,这些旧资料根本就没修正和更新(实际用处不大),并且关于蜘蛛名称、大小写众说不一,根本就获取不到一个准确无误的资料信息。

最新最准确各大搜索引擎蜘蛛名称:

1、百度蜘蛛:
网上的资料百度蜘蛛名称有BaiduSpider、baiduspider等,都洗洗睡吧,那是旧黄历了。百度蜘蛛最新名称为Baiduspider。日志中还发现了Baiduspider-image这个百度旗下蜘蛛,查了下资料(其实直接看名字就可以了……),是抓取图片的蜘蛛。
常见百度旗下同类型蜘蛛还有下面这些:Baiduspider-mobile(抓取wap)、Baiduspider-image(抓取图片)、Baiduspider-video(抓取视频)、Baiduspider-news(抓取新闻)。
注:以上百度蜘蛛目前常见的是Baiduspider和Baiduspider-image两种。

2、谷歌蜘蛛:Googlebot
这个争议较少,但也有说是GoogleBot的。谷歌蜘蛛最新名称为“compatible; Googlebot/2.1;”。还发现了Googlebot-Mobile,看名字是抓取wap内容的。

3、360:360Spider,它是一个很“勤奋抓爬”的蜘蛛。

4、SOSO蜘蛛:Sosospider,也可为它颁一个“勤奋抓爬”奖的蜘蛛。

5、雅虎蜘蛛:“Yahoo! Slurp China”或者Yahoo!
名称中带“Slurp”和空格,名称有空格robots里名称可以使用“Slurp”或者“Yahoo”单词描述,不知道有效无效。

6、有道蜘蛛:YoudaoBot,YodaoBot(两个名字都有,中文拼音少了个U字母读音差别很大嘎,这都会少?)

7、搜狗蜘蛛:Sogou News Spider
搜狗蜘蛛还包括如下这些:Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou News Spider、Sogou Orion spider,
(参考一些网站的robots文件,搜狗蜘蛛名称可以用Sogou概括,无法验证不知道有没有效)

看看最权威的百度的robots.txt ,http://www.baidu.com/robots.txt 就为Sogou搜狗蜘蛛费了不少字节,占了一大块领地。
“Sogou web spider;Sogou inst spider;Sogou spider2;Sogou blog;Sogou News Spider;Sogou Orion spider”目前6个,名称都带空格。

线上常见”Sogou web spider/4.0″ ;”Sogou News Spider/4.0″ ;”Sogou inst spider/4.0″ 可以为它颁个“占名为王”奖。

8、MSN蜘蛛:msnbot,msnbot-media(只见到msnbot-media在狂爬……)

9、必应蜘蛛:bingbot
线上(compatible; bingbot/2.0;)

10、一搜蜘蛛:YisouSpider

11、Alexa蜘蛛:ia_archiver

12、宜搜蜘蛛:EasouSpider

13、即刻蜘蛛:JikeSpider

14、一淘网蜘蛛:EtaoSpider
“Mozilla/5.0 (compatible; EtaoSpider/1.0; http://省略/EtaoSpider)”

[accordion state=”opened” color=”gray” title=”一句话总结各蜘蛛勤劳度:” tag=”h3″ ]

google蜘蛛:不太爱爬,但爱收录。

百度蜘蛛:爬谨慎,收录更谨慎。

搜搜蜘蛛:爱爬图片,经常绕在动态地址里出不来。

雅虎蜘蛛:恪守规则,每次都是先爬robots.txt。

360蜘蛛:它是一个“勤奋”的蜘蛛。

soso蜘蛛:也可为它颁一个“勤奋抓爬”奖的蜘蛛。

其他的没有太多留意,就不多说了。

[/accordion]

至于那些蜘蛛抓取对网站能带来有利用的价值,网站的管理者眼睛是雪亮的。

另外还发现了如 YandexBot、AhrefsBot和ezooms.bot这些蜘蛛,据说这些蜘蛛国外噶,对中文网站用处很小。那不如就节省下资源。

蜘蛛信息最权威的参考地址:http://www.baidu.com/robots.txt

未经允许不得转载:VPS指南™ » 各大搜索引擎蜘蛛名称及勤劳度分析

支付宝扫码打赏 微信扫码打赏

如果文章对您有帮助,欢迎移至上方按钮打赏稀饭

分享到:更多 ()

评论 4

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
  1. #2

    支持,顶你基佬

    饭团基友
    5年前 (2013-06-20)回复
  2. #1

    妈的,发错了。 支持 ,顶你基佬

    Xinfei
    5年前 (2013-06-20)回复