seo - 隐藏 secret 文件夹的最佳 robots.txt 实践

Question

我的网站中有一个 secret 文件夹，我不想让搜索引擎知道它。我没有将文件夹名称放在 robots.txt 的 Disallow 规则中，因为在 robots.txt 中写入此文件夹名称意味着告诉我的访问者有关该 secret 文件夹的信息。

我的问题是，即使我没有向该文件夹发布任何链接，搜索引擎是否能够知道/抓取该文件夹？

Answer 1

对所有人隐藏目录的唯一真正可靠的方法是将其置于密码之后。如果你绝对不能把它放在密码后面，一种创可贴解决方案是将文件夹命名为:

http://example.com/secret-aic7bsufbi2jbqnduq2g7yf/

然后只屏蔽名称的第一部分，如下所示:

Disallow: /secret-

这将有效地阻止目录而不显示其全名。它会阻止任何服从 robots.txt 的爬虫爬取该目录，但它不会使该目录容易被恶意爬虫找到。只是不要将此误认为是真正的安全。这将把主要的搜索引擎拒之门外。除此之外没有任何保证。同样，让每个人都远离 secret 目录的唯一真正可靠的方法是为目录设置密码。