.htaccess - 防止通过 .htaccess 直接访问 robots.txt

Question

我想阻止用户访问我的 robots.txt 文件，但我仍然希望搜索引擎能够读取它。是否可以？如果是的话我该怎么做？我相信如果我在 .htaccess 中编写以下内容，它会起作用，但我担心它也会阻止搜索引擎访问它。

order deny, allow deny from all

谢谢

Answer 1

由于标准 robots.txt 是从您的域的根目录提供服务的，除非您能够以某种方式可靠地区分搜索引擎和用户，所以我认为您所要求的内容是不可能的。

您可以尝试按用户代理或可能按 IP 范围进行过滤。

您是否有理由不希望用户看不到 robots.txt 文件中的内容？毕竟该文件中的所有内容都是公开的。