蜘蛛抓取太疯狂，导致业务受损。

十几分钟时间来了25000多的spider，cpu干满，访问中断，业务受损。能不能慢点趴，把时间刻度放长，不要集中来？

360fans_22592070 · 发表于 2024-12-29 16:22

访问日志.zip (1.63 MB)

360fans_22592070 · 发表于 2024-12-29 16:28

本帖最后由 360fans_uid22592070 于 2024-12-30 12:42 编辑
在站长平台 --- 抓取压力这里调整也没啥效果，该来的还是来。已经连续发生好几次了，集中10几分钟来几万的spider

@七喜先生

360fans_22592070 · 发表于 2024-12-30 20:22

@七喜先生
又来了

360fans_22592070 · 发表于 2024-12-30 20:25

刚刚又出现这样的情况，2分钟左右来了小4000次，cpu爬满。

访问日志_20241230.zip (290.32 KB)

七喜先生 · 发表于 2024-12-31 20:34

好的，这位朋友的问题已经提交相关管理技术团队进行核实查看处理，非常感谢朋友对360站长平台的支持！

360fans_22592070 · 发表于 2025-1-1 15:28

360fans_57238416 · 发表于 2025-1-2 13:56

我的360蜘蛛少点，加个链接 www.dfssc888.cn

共 7 个关于蜘蛛抓取太疯狂，导致业务受损。的回复最后回复于 2025-1-2 13:56