经常更新高价值的站点,优先抓取;最好每天更新5次以上的站,每次更新可以是1篇,也可以是100篇,随意。
可以设置两个接口。
一个接口为新站大量灌输内容接口。
另一个接口则为日常维护接口
灌满一万后,更换接口,该接口只有登录与一键生成整站的功能,全部执行完毕之后,更换正常的平时
维护接口,该接口特征是每次栏目生成只做30秒到60秒的栏目生成后就进行下个栏目生成,不用每次整个栏目
全部生成,那样会浪费非常多的时间,影响所有网站整体更新速度,每次每个栏目发几篇,30或者60秒足够生
成很多页栏目列表了,百度下次大更细自然会抓取到,平时使用vip群的sitemap接口也行,百度蜘蛛也会
从sitemap中抓取整站数据,所以不一定需要把所有列表每次重新生成一次,还有个好处是避免同行从列表中
采集你的站所有数据,因为列表没有全部生成,所以采集只有部分数据。