本帖最后由 360fans_fCdrZE 于 2018-12-13 11:07 编辑
网站:http://www.51miz.com/
1、360蜘蛛依旧高频次爬取被robots禁止的页面,之前反馈过一次,但从这几天的网站日志中来看,被robots禁止的页面依旧被爬取,大量浪费了蜘蛛爬取资源,问题依旧没有解决;
2、网站一直稳定运营,每天都有很更新内容,但360蜘蛛对网站的爬取频次忽高忽低,之前是仅360蜘蛛对网站爬取日志文件就有6到7M左右,最近又变成了几百K的文件了,落差非常大;且手动调整最大抓取频率好像没有一点作用,调整到最大数值,再刷新一下以变成以前的样子,并没有调整成功后的数值显示,站长也无法得知是否调整有效,从个人调整的经验来看,貌似没有任何效果,抓取频率还变低了;
3、360站长工具的蜘蛛压力数又显示为1了,前几天也是这样的情况,反馈过一次,后来变成几千左右,现在又变成1了,这是什么情况?这是否是反应了网站的真实情况?但全部都显示1,就明显是有问题的了;这个抓取压力是否是跟蜘蛛抓取网站频次相等?
360社区
|
|
|
|
评论
直达楼层