网站屏蔽360蜘蛛所引起的抓取频次不足
本帖最后由 Titanium3 于 2020-10-15 14:32 编辑www.zhupinhr.com
以前，360蜘蛛每天对网站的抓取大概在4万多，半年前，程序员由于不知道是360蜘蛛就给屏蔽掉了。后来解封后，每天的抓取是十几次，我以为随着时间会慢慢增加的，但六七个月过去了，抓取频次每天还是十几次。我们网站内部大概有二十多万的页面，每天新增的URL页面有100多，希望小搜gg/mm能帮忙处理一下。感谢！
您好，尝试手工调整蜘蛛抓取频率看看 http://zhanzhang.so.com/sitetool/spider_report
页:
[1]