如何提交网站的robots.txt 文件
问题网站 www点lukuai点com问题详情:
我的网站已经创建了robots.txt文件 ,并且是在网站根目 www点lukua点com/robots.txt
但是 我在360搜索站长后台,没有找到提交robots.txt的入口
我的网站有些内容是AI生成的,仅供网站用户内部使用,并且我已经在robots.txt文件标记了不要抓取指定目录的内容
User-agent: 360Spider
Disallow: /forum-post/
现在的问题是:
360搜索没有遵循robots.txt标准,抓取内容,估计抓取到了AI生成的内容,把网站降权了!
我自己也没有找到入口提交网站的robots.txt文件
希望360搜索可以更新网站的 robots.txt文件 , 并解除降权,谢谢啦!
360的蜘蛛并不一定带360Spider，所以不会遵守/forum-post/ 好的，这位朋友的问题已经提交相关管理技术团队进行核实查看处理，非常感谢朋友对360站长平台的支持！
页:
[1]