版块 › 360搜索 › 360蜘蛛爬网站怎么链接都爬错了，我提交的时候是完整的

360fans_DxAPoW 发表于 2021-10-17 03:48

360蜘蛛爬网站怎么链接都爬错了，我提交的时候是完整的

我的网站只收录了主，内页一直不收录，我就去看了下IP访问记录
42.236.10.114 - - "GET /5.html HTTP/1.1" 404 588蜘蛛爬取路径错误所以导致404代码，我提交的是完整的地址

180.163.220.67 - - "GET /fl.do HTTP/1.1" 404 -
42.236.10.125 - - "GET /fl.do HTTP/1.1" 404 -   这两个是后面带参数的但是蜘蛛访问的是不带参数的，360搜索是不支持带参数的吗？如果不支持也理解，但是上面那个42.236.10.114 - - "GET /5.html HTTP/1.1" 404 588这个不带参数的怎么也访问错了，不能理解，我希望能尽快帮我解决下，毕竟360蜘蛛每次访问都出错404的话，到时候蜘蛛来的频率就低了
@360搜索

360fans_DxAPoW 发表于 2021-10-17 03:50

希望官方能解决一下是因为什么，我提交的路径是完整的，但是蜘蛛来爬的是不完整的路径，有些带参数的360蜘蛛直接不带参数访问

小葱豆腐 发表于 2021-10-18 10:29

您好，您可以通过robots文件禁止抓取目录，避免360spider抓取您不希望收录的链接。

查看完整版本: 360蜘蛛爬网站怎么链接都爬错了，我提交的时候是完整的