黑帽联盟

标题: 搜索引擎蜘蛛简单介绍 [打印本页]

作者: yun 时间: 2016-11-19 12:20
标题: 搜索引擎蜘蛛简单介绍
搜索引擎蜘蛛是搜索引擎的一个自动程序.它的作用是访问互联网上的网页、图片、视频等内容,建立索引数据库,使用户能在搜索引擎中搜索到您网站的网页、图片、视频等内容.一般用法为“spider+URL”,后面的URL（网址）是搜索引擎的痕迹,如果要查看某搜索引擎是否来爬取过你们的网站,可查看服务器的日志里是否有该URL,同时还能查看来的时间、频率等.

百度蜘蛛
可以根据服务器的负载能力调节访问密度,大大降低服务器的服务压力.根据以往的经验百度蜘蛛通常会过度重复地抓取同样的页面,导致其他页面无法被抓取到而不能被收录.这种情况可以采取robots协议的方法来调节.百度蜘蛛的用法如下：B aiduspider+（+http://www.baidu. com/search/spider. htm）.

谷歌蜘蛛
谷歌蜘蛛属于比较活跃的网站扫描工具,其间隔28天左右就派出“蜘蛛”检索有更新或者有修改的网页.与百度蜘蛛最大的不同点是谷歌蜘蛛的爬取深度要比百度蜘蛛多一些.用法是：Mozilla/5.0（compatible;Googlebot/2.1;+http：//www.google.com/bot.html）.

雅虎中国蜘蛛
如果某个网站在谷歌网站下没有很好的收录,在雅虎下也不会有很好的收录和爬行.雅虎蜘蛛的数量庞大,但平均的效率不是很高,相应的搜索结果质量不高,用法是：Mozillal5.0 （compatible; Yahoo! SLurp China; http://misc.yahoo.com.cn/help.html）

雅虎英文蜘蛛
雅虎英文蜘蛛的用法与中文蜘蛛不同,用法是：Mozilla/5.0 （compatible; Yahoo! SLurp/3.0; http://help.yahoo.com/help/us/ysearch/slurp）.

微软必应蜘蛛
必应与雅虎有着深度的合作关系,所以基本运行模式和雅虎蜘蛛差不多,用法是：msnbot/ 1 .1 （+http://search.msn.com/msnbot.htm）.

搜狗蜘蛛
搜狗蜘蛛的爬取速度比较快,抓取的数量比起速度来说稍微少点.搜狗蜘蛛最大的特点是不抓取robot.text文件,其用法如下：Sogou+web+robot+（+http：//www. sogou. com/doc s/help/webmasters. htm#07.

搜搜蜘蛛
搜搜早期是运用谷歌的搜索技术,谷歌有收录,搜搜肯定也会收录.2011年搜搜己经宣布采用自己的独立搜索技术,但搜搜蜘蛛的特性和谷歌蜘蛛的特点还是有着相似的地方,用法是：Sosospider+（+h仰：//help.soso.com/webspider.htm）.

有道蜘蛛
和其他搜索引擎蜘蛛一样,凡是高权重网站的链接一般都能将其收录.爬行原理也是通过链接之间的爬行,其用法如下：Mozilla/5.0（compatible; YodaoBot/1.0; http://wwwyodao.com/help/webmaster/ spider/;）.

作者: a12445834 时间: 2016-11-19 15:43
楼主有做蜘蛛池吗

作者: yun 时间: 2016-11-19 22:20

a12445834 发表于 2016-11-19 15:43
楼主有做蜘蛛池吗

之前做，现在不做了

作者: psyhope 时间: 2016-11-21 10:26
[技术文章] 搜索引擎蜘蛛简单介绍
本文摘自: 黑帽联盟(https://bbs.cnblackhat.com/）详细出处请参考：https://bbs.cnblackhat.com/thread-477-1-1.html

欢迎光临黑帽联盟 (https://bbs.cnblackhat.com/)