staging - 我可以阻止搜索引擎索引我网站上的整个目录吗？

Question

我有一个临时站点，我用它来为我的实际网站起草新功能、更改和内容。

我不希望将其编入索引，但我希望有一个比将以下内容添加到我网站上的每个页面更容易的解决方案:

<meta name="robots" content="noindex, nofollow">

我能否以类似于使用 .htaccess 文件向域添加密码的方式执行此操作？

Answer 1

robots.txt standard是为了这个。例子

User-agent: *
Disallow: /protected-directory/

搜索引擎会遵守这一点，但当然内容仍会发布(如果您将 URL 放在 robots.txt 中，可能更容易被发现)，因此通过 .htaccess 进行密码保护也是一种选择。