网站日志分析和蜘蛛抓取控制快速提升网站收录率

一．网站日志分析
1.通过网站日志分析我们发现该网站存在抓取资源浪费,需对抓取进行控制。
www.xxxxx.com百度目录抓取量统计（数据来自：爱站SEO工具包）

www.xxxxxx.com百度页面抓取量统计（数据来自：爱站SEO工具包）

2.通过爱站关键词出词分布，和页面出词量进行页面搜索引擎价值和权重分析，我们发现部分优质内容栏目出词量少。
 
二、解决方案：
 1.robots.txt文件设置不需抓取的css,js等页面，指定搜索引擎只抓取收录特定的部分目录。
2.首页入口分配，优质内容优先分配。
3.nofollow权重传递控制。
4.加强优质内容栏目外链，引导抓取收录，提升页面权重。
三、优化结果：
各子站经过类似的日志分析和蜘蛛抓取控制后，抓取资源集中用在价值页面的抓取，快速提升价值页面的收录，从而提升站点收录率