无欲_2013 发表于 2017-9-13 13:05

web日志里有很多360蜘蛛ip,但没有360Spider蜘蛛标识,请问正常吗?

遇到一个奇怪的问题,web日志里根据360蜘蛛ip http://www.so.com/help/spider_ip.html ,搜寻有很多360的蜘蛛ip,但日志记录里没有360Spider蜘蛛标识,请问正常吗?

无欲_2013 发表于 2017-9-13 13:14

我总结了一下,通过360站长平台提交的url地址,抓取诊断,Sitemap提交来的360蜘蛛都有360Spider标识,但360自然来爬行的蜘蛛都没有360Spider标识

360fans_uid25444838 发表于 2017-9-13 13:49

可以提供下这些ip地址是多少吗?我们帮忙check一下看看是否符合预期

无欲_2013 发表于 2017-9-13 15:38

本帖最后由 无欲_2013 于 2017-9-13 15:40 编辑

42.236.12.190
42.236.101.194
42.236.101.214
42.236.99.178
42.236.46.105

这些是随便从日志里挑选的几个,基本上你们自然来的所有蜘蛛都没有360Spider标识

无欲_2013 发表于 2017-9-13 15:40

42.236.12.190
42.236.101.194
42.236.101.214
42.236.99.178
42.236.46.105

这些是随便从日志里挑选的几个,基本上你们自然来的所有蜘蛛都没有360Spider标识

360fans_CilJDG 发表于 2020-9-22 10:15

今天是2020年9月22日,该问题依旧存在哦。比如:42.236.10.120
页: [1]
查看完整版本: web日志里有很多360蜘蛛ip,但没有360Spider蜘蛛标识,请问正常吗?