默认的robots.txt，360爬虫

网站的robots.txt没用改动过，没添加允许360爬虫抓取代码，但360已经收录了部分网页，这说明360搜索爬虫已经在抓取吗？

360fans_uid25444838 · 发表于 2016-9-19 15:34

这个需要结合您的robots写法来看，方便提供吗，另外想弱弱地问一下，是什么原因需要禁止我们的蜘蛛抓取呢？

360fans_u26380213 · 发表于 2016-9-19 19:29

没禁止360爬虫，就是discuz原始的robots.txt，没改动。就是想要360蜘蛛抓取，需要添加360爬虫代码吗？

360fans_u26380213 · 发表于 2016-9-20 19:46

360fans_uid25444838 发表于 2016-9-19 15:34
这个需要结合您的robots写法来看，方便提供吗，另外想弱弱地问一下，是什么原因需要禁止我们的蜘蛛抓取呢？ ...

没禁止360爬虫，就是discuz原始的robots.txt，没改动。就是想要360蜘蛛抓取，需要添加360爬虫代码吗？

360fans_uid25444838 · 发表于 2016-9-21 18:00

如果被360收录，就证明被抓取了，只有抓取才会有收录

共 4 个关于默认的robots.txt，360爬虫的回复最后回复于 2016-9-21 18:00