360fans_uid40897350 发表于 2020-1-24 01:50

360爬虫只爬取首页index.php不爬取其他页面

每次爬取都是http://www.ontlock.com/index.php，不爬htlm，和其他想知道是怎么回事
robots设置也没有问题




360fans_u22968597 发表于 2020-2-3 10:33

您好，感谢您的反馈，建议站长提交sitemap到站长平台
页: [1]
查看完整版本: 360爬虫只爬取首页index.php不爬取其他页面