360fans_124877 发表于 2025-4-15 11:12

请问，爬取Sitemap的蜘蛛IP是否为已公开的蜘蛛IP？

本帖最后由 360fans32134900 于 2025-4-15 17:19 编辑

请问，爬取Sitemap的蜘蛛IP是否为网址：https://www.so.com/help/spider_ip.html ，这里已公开的IP？

我的网站在3月26日起就不在爬取Sitemap地图了，我的网站最近有很多垃圾IP爬取我的数据；
因此，我对很多IP段做了限制，不清楚是否把爬取Sitemap的蜘蛛给屏蔽了！

360fans_46581328 发表于 2025-4-16 09:29

你的 IP 特征是啥

360fans_26087754 发表于 2025-4-16 10:04

国内的任何一个搜索公司，都不会一直大量收录数据的，除非他的市值一直在涨，他就会去做，没涨，收录了有什么意义？

不怎么收录了，就在哪里吊起混日子，360容易清空到0收录，搜狗稳一点可能会给你留一个首页，百度会掉排名，但收录可能还在

七喜先生 发表于 2025-4-19 13:30

我们的蜘蛛ip可参考：http://www.so.com/help/spider_ip.html
页: [1]
查看完整版本: 请问，爬取Sitemap的蜘蛛IP是否为已公开的蜘蛛IP？