喜马拉雅seo第四月第一周-陶醉

接上一周：

2013/01/28

昨日收录541，现在是71950
昨日抓取2590，收录率48.33%

u_new：爬13次
album_new：爬5次，4次304

2013/01/29

昨日收录705，现在是72655
昨日抓取2242，收录率41.29%

u_new：爬22次

album_new：爬9次，3次304

现象：

关键词：首页增长；长尾平稳；

流量：增长

404：小军页面66个

2013/01/30

昨日收录302，现在是72957
昨日抓取2800，收录率41.14%

u_new：爬60次，5次304
album_new：爬11次，4次304

2013/01/31

昨日收录600，现在是73557
昨日抓取4921，收录率40.76%

u_new：爬113次，7次304
album_new：爬13次，5次304

晚上23：26补充：从近一周来看，百度对503有很好的兼容，网站打不开、没有对数据造成影响。

今天晚上首页改版、以及新增几个url，改变更新频率词密度，观察后两周数据变化。

2013/02/01

昨日收录1070，现在是74627
昨日抓取13022，收录率40.83%

u_new：爬151次，14次304
album_new：爬13次，7次304

现象1：昨日抓取量暴增，而站长平台抓取压力为零，近几天抓取压力下降。两种猜测：

A、抓取压力的单位不等于爬取次数（日志）； B、抓取压力数据更新有延迟；

现象2：站长平台请求增加抓取压力

“请求抓取压力》请求时间2013.01.24》调大至：5566次/天》收录量太少”

而昨天2013.01.31才表现出来，间隔一个周。

2013/02/02

昨天收录0，现在是74627
昨日抓取14042，收录率40.14%

吐槽：业务、技术都放假了…可蜘蛛不放假…苦逼…我也要休假了。！~

2013/02/03

昨日收录0，现在是74627
昨日抓取18099，收录率39.82%

现象：连续2天收录未更新，可能与首页改版有关。继续观察。

内容爬虫增量不正常

分析：根据百度站长工具的提示遇改版可调整抓取压力减少改版造成更新不及时带来的影响，一个周前提交增加抓取压力200%。日志表明抓取次数增加了800%，而抓取压力（站长平台）横轴数值才1800，进一步验证了2013/02/01的两种猜测。