robots.txt - 如何保护来自机器人的 secret 目录？

Question

保护某些 secret 文件和目录免受 bot 和爬虫(例如 Google bot 等)的最佳方法是什么。

示例目录结构:

/folder/
/public_html/
             /includes/ - // Private
             /db/config.php - //Private
             index.php - // Public
             robots.txt - // Public

我知道我可以将这些文件和目录添加到 robots.txt 并禁止它们，
但只有一些机器人接受规则。用户还可以阅读 robots.txt 文件并查看 secret 文件的位置。

另一种选择是将这些文件夹和文件放在 public_html 目录之外。

因此，您认为保护它们的最佳方式是什么。

Answer 1

当然，您不能使用 robots.txt 文件来隐藏您的目录，而且 robots.txt 文件甚至不会阻止在 google 上建立索引。

如果您使用 Apache 服务器并构建规则以隐藏/重定向并返回 404 错误页面或 403 访问被拒绝，您需要做的是设置一个 .htaccess 文件。

见这个例子http://corz.org/server/tricks/htaccess.php

另一种选择是在每个私有(private)文件夹中创建一个 .htaccess 文件，并在该文件中添加以下行。

deny from all

希望对你有帮助，👍