各大引擎的robottxt具体分析

《各大引擎的robottxt具体分析》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、代表禁止所有的支持robots.txt文件的搜索引擎访问：User-agent:*Disallow:/查看robots.txt规则的地址：http://www.robotstxt.org1.baiduSpider资料参考页面：http://www.baidu.com/search/spider.htmrobots.txt书写规范参考地址：http://www.baidu.com/search/robots.html百度各个产品使用不同的user-agent：产品名称对应user-agent无线搜索Baiduspider图片搜索Baiduspider

2、-image视频搜索Baiduspider-video新闻搜索Baiduspider-news百度搜藏Baiduspider-favo百度联盟Baiduspider-cpro商务搜索Baiduspider-ads网页以及其他搜索Baiduspider如果分析服务器日志中发现如下代码，则为baiduSpider爬行抓取：$host123.125.66.120120.66.125.123.in-addr.arpadomainnamepointerbaiduspider-123-125-66-120.crawl.baidu.com.host119.63.

3、195.254254.195.63.119.in-addr.arpadomainnamepointerBaiduMobaider-119-63-195-254.crawl.baidu.jp.百度投诉平台：http://tousu.baidu.com/webmaster/add/#22.GoogleSpider3.YahooSpider4.SosoSpider参考页面：http://help.soso.com/webspider.htm查看服务器日志是分析发现：Sosospider+(+http://help.soso.com/webspider.h

4、tm，则表明 SosoSpider有来爬行..Soso的访问策略：对于您网站上新产生的链接或者持续更新的页面，sosospider会持续抓取。在首 次抓取后，sosospider会在一定时间后（通常是几天至一个月间）再次访问以查看该页面是否有更 新。信息反馈地址邮箱：sosospider@tencent.com5.SogouSpider参考页面：http://help.sogou.com/spider.html搜狗喜欢收录的页面：A.内容优良而独特的页面，如果您的页面内容和互联网上已存在的其他页面有高度的相似性 ，可能不会被sogouspider收

5、录。B.链接层次较浅的页面，过深的链接层次，尤其是动态网页的链接，会被丢弃而不收录。C.如果是动态网页，请控制一下参数的数量和URL的长度。搜狗更偏好收录静态网页。D.重定向次数越多的页面，越有可能被sogouspider丢弃。投诉抓取过快：http://www.sogou.com/complain/complaint.php?type=4申诉：http://www.sogou.com/complain/complaint.php?type=5小说网:http://www.kanshu.com/小说阅读网http://www.kanshu.com/

6、免费小说阅读网http://www.kanshu.com/免费看书网http://www.kanshu.com/免费看小说网http://www.kanshu.com/言情小说http://www.kanshu.com/好看的小说http://www.kanshu.com/穿越小说http://www.kanshu.com/玄幻小说http://www.kanshu.com/玄幻小说网http://www.kanshu.com/看书网：http://www.kanshu.com都市小说：http://dushi.kanshu.com历史小说：htt

7、p://lishi.kanshu.com玄幻小说：http://xuanhuan.kanshu.com侦探小说：http://zhentan.kanshu.com网游小说：Http://wangyou.kanshu.com言情小说：http://mm.kanshu.com科幻小说：http://kehuan.kanshu.com全本小说：http://quanben.kanshu.com武侠小说：http://wuxia.kanshu.com小说排行榜：http://top.kanshu.com