高强度蜘蛛程序
baiduspider(http://www.baidu.com/search/spider.htm) 百度蜘蛛
高强度蜘蛛，有时会从多个ip地址启动多个蜘蛛程序！
由于算法问题，百度蜘蛛对相同页面会多次发出请求（尤其是首页），令人烦恼。
推广效果好。
mozilla/5.0 (compatible; yahoo! slurp china; http://misc.yahoo.com.cn/help.html)
mozilla/5.0 (compatible; yahoo! slurp; http://help.yahoo.com/help/us/ysearch/slurp)
雅虎蜘蛛，分别是雅虎中国和美国总部的蜘蛛
高强度蜘蛛，有时会从多个ip地址启动多个蜘蛛程序！
比较规范的蜘蛛，看参考其网址，设定蜘蛛访问间隔。（但需要考虑同时出现多个yahoo蜘蛛）
推广效果尚可。
iaskspider/2.0(+http://iask.com/help/help_index.html)
mozilla/5.0 (compatible; iaskspider/1.0; msie 6.0)
新浪爱问蜘蛛
算法差，大量扫描无实际意义的页面，对动态链接网站负担很大
推广效果差。
sogou spider
搜狗蜘蛛
算法差，大量扫描无实际意义的页面，对动态链接网站负担很大
推广效果差。
中等强度蜘蛛程序
mozilla/5.0 (compatible; googlebot/2.1; +http://www.google.com/bot.html)
google蜘蛛
算法优秀，多为访问有实际内容的页面
推广效果好。
mediapartners-google/2.1
google点击广告蜘蛛
特点未知
outfoxbot/0.5 (for internet experiments; http://; outfoxbot@gmail.comoutfoxbot@gmail.com )
网易蜘蛛
其搜索算法需要改进
推广效果差。
ia_archiver
alexa排名蜘蛛
作用未知
其他搜索引擎的蜘蛛
msnbot/1.0 (+http://search.msn.com/msnbot.htm)
msn蜘蛛
特点未知
msnbot-media/1.0 (+http://search.msn.com/msnbot.htm)
（欢迎补充资料）
特点未知
mozilla/4.0(compatible; msie 5.0; windows 98; digext)
mozilla/4.0 (compatible; msie 5.0; windows 98; digext)
mozilla/4.0 (compatible; msie 5.0; windows nt; digext; dts agent
mozilla/4.0 (compatible; msie 5.00; windows 98; digext)
（欢迎补充资料）
mozilla/4.0 (compatible; msie 6.0; windows nt 5.1; qihoobot 1.0)
名字上看来是qihoo的
特点未知
gigabot
gigabot/2.0 (http://www.gigablast.com/spider.html)
gigabot搜索引擎蜘蛛。已被google收购？（欢迎补充资料）
eapollobot/1.0 (eapollo search engine robot; http://www.eapollo.com; eapollo at global-opto dot com)
lanshanbot/1.0
据说是中搜蜘蛛。（欢迎补充资料）
iearthworm/1.0, iearthworm@yahoo.com.cniearthworm@yahoo.com.cn
tmcrawler
webnews http.pl
rss扫描器
\rss.asp mozilla/6.0 (msie 6.0; windows nt 5.1;foxmail/milowu)
这是用foxmail6.0订阅了你的rss
\rss.asp feedfetcher-google; (+http://www.google.com/feedfetcher.html)
google的rss搜索扫描器
\rss.asp feedsky_spider http://www.feedsky.com
一款rss扫描器，有兴趣者进入此网站添加您的rss
