robots.txt 内容本身是否已编入索引？

Question

关闭。这个问题是off-topic .它目前不接受答案。












想改善这个问题吗？ Update the question所以它是 on-topic对于堆栈溢出。

9年前关闭。




Improve this question




我的 robots.txt 文件的内容本身实际上已编入索引并显示在 Google 搜索结果中。例如，只有谷歌而不是雅虎。
我真的觉得谷歌应该懂不是 索引 内容 我的机器人文件，因为它只是告诉 Google 什么不索引! 我在这里错过了什么吗？

Answer 1

这是正常的。我的也被索引了几个月前。我认为这是爬虫的问题。 编辑:顺便说一句，您可以删除网站管理员工具网站上的链接。