网站搜刮引擎优化诊断之搜刮引擎抓取剖析

《网站搜刮引擎优化诊断之搜刮引擎抓取剖析》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、网站SEO诊断之搜索引擎抓取分析如果搜索引繁蜘蛛或者用户无法访问网站，那么一切SEO都是无意义的。因此在开始对网站诊断前，我们要确保用户和搜索引擎蜘蛛都能止确的对网站进行访问。•Robots.txt百度官方对Robots.txt的名词解释：搜索引擎使用spider程序H动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您町以在您的网站中创建一个robots.txt,在文件中声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分

2、。大部分的搜索引擎都是遵循Robots.txt文件的，因此，要确保网站没冇禁止主流或者冃标搜索引擎的话，建议手动查看网站根冃录下的robots.txt文件（谷歌管理员工具也町以查看.前捉是你是网站的所有者或者被授权人），确认不包含不应该有的禁止命令，以下这种robots.txt写法就禁止了任何搜索引擎对网站页面的索引：User-agent:*Disallow:/•RobotsMetaTag在网站源代码的＜head＞部分使用RobotsMetaTag,同样也能达到robots.txt同样的目的。比如在vhead>里添加一句

3、ent=^^noindex,nofollow''〉这便是告诉搜索引擎不要收录该页面，同时防止搜索引擎追踪此网页上的链接，R不传递链接的权重。•HTTP状态码如果网站返回4XX或者5XX的HTTP状态码时，用户和搜索引擎都无法访问网站，因此在使用工具爬行网站页面信息吋，应该注意查看各贝面返回的状态码，找出并修正错误的URL,返回404或者把页面重定向到与Z相关的页面。谈到页而重定向，请正确的使用301重定向来传递链接权重到目标页面，避免使用302,metarefresh或者JS重定向（以上三种技术都无法传递链接权重）。•XML版网站地图XML版本的网站地图能帮助搜索

4、引擎快速的找到网站绝大部分页而信息，有利于提高网站在搜索引擎上的整体收录。在查看XML版网站地图的吋候应该注意以下几点:a,网站地图是否格式正确，是否遵守了sitemap协议。b,是否冇提交网站地图到谷歌/必应管理员工具。c,网站地图里血的链接内容是否为最新版（实时更新）d,网站地图的链接与抓取匸具抓出来的链接数据是否匹配，是否仍有页面在网站屮但是缺乏至少一个内链的支持。•网站架构良好的网站架构有利于搜索引擎蜘蛛快速的抓取重点页面及其他页而內容。因此在评估网站结构的时候，丿遏该注意分析用户需要通过几次点击才能从首页到达重要页面。同时也要注意各页面Z间的层级联系，优先确保重点页面

5、处于较浅的层级以及获得较多的内部支持。理想状态下，扁平树状的网站结构有利于网站横向少纵向的拓展。•使用Hash或JS的导航良好的网站架构在一定程度上可能被使用了flash或JS技术的导航破坏。虽然搜索引擎的技术在不断的提升，把重要的内容或者链接放置在flash或者JS里，仍然是不明智的选择。如何评估是否使用JS技术？非常简单的两步，开启和关闭JS功能（使用chrome或者火狐就可以直接完成）。通过对比网站在以上两种状态下的链接情况，可以清晰的看出哪些重点链接使用了JS技术。•网页加载速度用户的耐心是有限的，如果打开一个网页需耍一分钟甚至更长的时间，用户极有可能在打开过程中离开网

6、站，从而造成网站用户的流失。同样，搜索引擎分配给一个网站的资源以及其在网站停留的时间也是冇限的，网页加载速度越快越能充分利用搜索引擎资源。达闻在“网站页而载入速度SEO优化技巧之工具篇”中分享过如何使用工具杳看网站的加载速度并在“网站页面载入速度SEO优化技巧Z实战篇”小提及了相应的提升方法。通过使用yslow或pagespeed等在线测速工具，测试网站的加载速度和网站加载时的具体信息（如页面大小，请求数量等），并针对工具反应出來的问题对症下药，提升网站加载速度。（值得—•提的是：谷歌分析GAT具里也提供了网站速度相关信息，能让站长朋友们更加清楚的看到影响页而加载速度的因素并解

7、决。在以后的文章里达闻将深入分享。）通过对以上儿点的分析，我们确定了网站的访问基础，即，同时能被搜索引擎和用户很好的访问。