问题网站 www点lukuai点com
问题详情:
我的网站已经创建了robots.txt文件 ,并且是在网站根目 www点lukua点com/robots.txt
但是 我在360搜索站长后台,没有找到提交robots.txt的入口
我的网站有些内容是AI生成的,仅供网站用户内部使用,并且我已经在robots.txt文件标记了不要抓取指定目录的内容
User-agent: 360Spider
Disallow: /forum-post/
现在的问题是:
360搜索没有遵循robots.txt标准,抓取内容,估计抓取到了AI生成的内容,把网站降权了!
我自己也没有找到入口提交网站的robots.txt文件
希望360搜索可以更新网站的 robots.txt文件 , 并解除降权,谢谢啦!
|
|
|
|
|
|
评论
直达楼层