360蜘蛛一直在抓robots屏蔽目录,造成很多404日志记录
问题：360蜘蛛一直在抓robots屏蔽目录,这是正常现象吗？抓取robots屏蔽目录：/activity/、/ajax/
一天有7-8K 404日志记录，绝大部分蜘蛛IP段：
42.236.10.*
42.236.12.*
42.236.17.*
42.236.101.*
样例IP：
42.236.17.248，
42.236.17.9,
42.236.101.204,
带360Spider，但无法host反查
好的，这位朋友的问题已经提交相关管理技术团队进行核实查看处理，非常感谢朋友对360站长平台的支持！
页:
[1]