security - 我应该如何将开发和/或测试版网站与公众和搜索引擎机器人隔离开来？

Question

我需要在与生产环境相同的服务器上托管开发和测试站点(出于实际原因，让我们让它飞起来)。

为简单起见，我可以在开发版和测试版上接受相同的保护——基本上不要让它被蜘蛛爬行，并在适当的位置设置用户名和密码，以防止每个人和他们的兄弟获得访问权限(再次，有必要实用)。我意识到很多人希望在 dev 和 beta 上拥有不同的权限，但这不是这里要求的一部分。

使用 robots.txt 文件是给定的，但问题是:是否应将额外的主机(又名“子域”)提交给 Google 网站管理员工具，作为防止无意爬行的附加预防措施？不用说，但不会直接链接到开发/测试站点，因此您必须完美地输入地址(没有通过 URL 重写或其他帮助进行扩充)。

怎么可能只访问我们的团队？由于 Internet 访问的各种方法(在带 wifi 的午餐地点开会等)，IP 地址将无法使用。

也许有开发/测试版和生产版 INCLUDE一个寻找要设置的 URL 变量(在开发/测试站点上)或不查找 URL 变量(在生产站点上)的小文件(或调用一个组件)。通过这种方式，您可以在各自的站点上保留不同的 INCLUDE 或组件(名称相同)，否则源从开发转移到生产时不需要更改。

我真的想避免在任何级别(应用程序级别或 Web 服务器)进行全面的用户身份验证，并且我意识到这会让事情变得非常开放，但目标实际上只是为了防止无意中浏览预生产站点。

Answer 1

通常我会看到基于 Web 服务器的身份验证，所有用户都使用一个共享的用户名和密码，这应该很容易设置。一个有趣的技巧可能是检查 cookie，然后只需要一个更好的隐藏页面来设置该 cookie。您可以在每个人都访问该页面时删除该页面，或者仅对该文件实现身份验证，或者仅允许从办公室访问该页面，并要求在家工作的人使用 VPN 或在清除 cookie 后访问办公室。