当前位置:首页 » SEO优化教程 » 2019年最新搜索引擎蜘蛛大全

    2019年最新搜索引擎蜘蛛大全

    各大seo搜索引擎的蜘蛛会不断地访问抓取我们站点的内容,也会消耗一定的站点流量;有时候就需要屏蔽某些蜘蛛访问我们的站点,文章尾部会讲解决办法;了解各大搜索引擎蜘蛛爬虫,对我们进行网站SEO优化起到很大作用;
    辽宁省
    新民市
    南票区
    绥中县
    双台子区
    振安区
    宽甸满族自治县
    宏伟区
    铁东区
    太子河区
    北票市
    舍力
    收集了各大搜索引擎的蜘蛛爬虫UA,以便你需要时查阅。

    搜索引擎蜘蛛
    1、百度蜘蛛:BaiduSpider
    常见的Baiduspider和Baiduspider-image(抓取图片)
    B有限公司还有其它几个蜘蛛:Baiduspider-video(抓取视频)、Baiduspider-news(抓取新闻)、Baiduspider-mobile(抓取wap),都不常见
    百度蜘蛛爬虫UA:
    PC端:Mozilla/5.0 (compatible; Baiduspider-render/2.0; http://www.baidu.com/search/spider.html)
    移动端:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; http://www.baidu.com/search/spider.html)
    图片:“Baiduspider-image ( http://www.baidu.com/search/spider.htm)”

    2、谷歌蜘蛛:Googlebot
    有人说谷歌蜘蛛是GoogleBot,官方谷歌蜘蛛最新名称为Googlebot,还发现了Googlebot-Mobile,看名字是应该是抓取wap内容的
    谷歌蜘蛛爬虫UA:“Mozilla/5.0 (compatible; Googlebot/2.1; http://www.google.com/bot.html)”
    图片:“Googlebot-Image/1.0”

    3、360蜘蛛:360Spider
    它是一个十分“勤奋抓爬”的蜘蛛
    360蜘蛛爬虫UA:Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0);

    4、搜狗蜘蛛:Sogou News Spider
    搜狗公司还有其它几个蜘蛛:Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou Orion spider,冬镜在日志中只发现了常见的Sogou News Spider。(参考大神百度的robots文件,搜狗蜘蛛名称可以用Sogou概括,但有没有用就不知道了.)
    搜狗蜘蛛爬虫UA:“Sogou web spider/4.0( http://www.sogou.com/docs/help/webmasters.htm#07)”

    5、必应蜘蛛:bingbot
    必应蜘蛛爬虫UA:“Mozilla/5.0 (compatible; bingbot/2.0; http://www.bing.com/bingbot.htm)”

    6、SOSO蜘蛛:Sosospider
    腾讯已玩死,交给搜狗公司了
    soso蜘蛛爬虫UA:“Sosospider ( http://help.soso.com/webspider.htm)”

    7、雅虎蜘蛛:Yahoo! Slurp China(雅虎中国)或Yahoo! Slurp(雅虎英文)
    雅虎蜘蛛爬虫UA:
    雅虎中国:“Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)”
    雅虎英文:“Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)”

    8、MSN蜘蛛:msnbot,msnbot-media
    好像只见到msnbot-media在狂爬……
    MSN蜘蛛爬虫UA:
    *msnbot/1.0 ( http://search.msn.com/msnbot.htm”)
    其它还有 一搜蜘蛛:YisouSpider、Alexa蜘蛛:ia_archiver、宜搜蜘蛛:EasouSpider、即刻蜘蛛:JikeSpider,以及还有YandexBot、AhrefsBot和ezooms.bot等这些蜘蛛,据说这几个国外的蜘蛛都不咋好

    搜索引擎蜘蛛名称
    其实常用的搜索引擎就那么几个,只要在robots.txt文件里把常用的搜索引擎蜘蛛放进来就行,其它的可以统统屏蔽。
    End
    温馨提示:如果您对本文有疑问,请在本页留言即可!!!
    觉得很赞 (3)付款方式
    X
    付款方式:
    • 微信
    • 支付宝
    • QQ红包

    使用微信扫一扫
    blogger
      发布日期:2011-03-22   所属类别:SEO优化教程   浏览:7998次   评论:3次
      本文地址:http://glue.hotels-in-phuquoc.com/seo/1085.html [ 重庆市县垫江县坪山镇 ]
      声明:本页信息由网友自行发布或来源于网络,真实性、合法性由发布人负责,请仔细甄别!本站只为传递信息,我们不做任何双方证明,也不承担任何法律责任。文章内容若侵犯你的权益,请联系本站删除!

    留言/评论:◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

    填写好QQ号码,任点空白处自动获取

    昵称

    邮箱

    网址

    3楼、新闻头条 [回复该留言]
    2011-03-04 00:30
    文章不错非常喜欢
    2楼、知识共享网 [回复该留言]
    2011-03-28 16:37
    总结的不错,谢谢舍利
    1楼、029shouji.com [回复该留言]
    2011-03-22 19:34
    这个怎么统计的 真详细

    个人资料

    舍力

    博主:舍力

    Emlog交流群

      用心做好每一件事!!!

    热门文章

    • 01
      佛山顺德容桂碧桂园凤凰湾翰华苑的业主群
    • 02
      处理img标签加载图片失败,显示默认图片简单代码分享
    • 03
      Emlog模板设置插件修改篇:实现标签标题、描述等均可自定义
    • 04
      Emlog手机版教程:获取搜索功能
    • 05
      2019年最新搜索引擎蜘蛛大全
    • 06
      SEO干货分享:新站SEO实操技术细节汇总
    • 07
      Emlog对百度蜘蛛屏蔽广告避免影响落地页体验
    • 08
      emlog手机版教程:获取文章对应的标签
    • 09
      Emlog后台中content、excerpt以纯文本格式的教程分享
    • 10
      余生,静而不争!

    博客统计

    • 文章数量:1132篇
    • 文章评论:3510条
    • 总访问量:27033824次
    • 微语数量:81条
    • 在线人数:2人
    • 本站运行:10年7月19天
    • 估计博主很忙,已经很久没更新了!
    Q2 虚位以待
    Copyright © 2012-2022 B有限公司 glue.hotels-in-phuquoc.com 版权所有   渝ICP45010350
    基于宝塔面板,数据存储于阿里云ECS
    Powered by emlog / &Author 舍力博客.