php - 如何构建 webdev 文件夹以使网站不被 Google 索引？

Question

如何构建我的 Web 开发环境，以便搜索引擎不索引我的项目？

我正在为不同的客户开展多个项目，每个客户的站点位于 www.mydomain.com/webdev/des1、www.mydomain.com/webdev/des2、www.mydomain.com/webdev/des3等

我是这样构建它的，但是我今天去谷歌搜索，发现它一直在为客户的网站编制索引，这些网站正在开发中，因此还没有准备好发布。

我可以做些什么来从谷歌结果中删除这些网站，直到它们完成，以及如何构建我的开发环境，以便将来不会发生这种情况？很抱歉在这里问 2 个问题，但我真的需要从犯过同样错误的人那里得到紧急建议。

Answer 1

# Disallow access for all robots on all pages
User-agent: *
Disallow: /

但是正如已经说过的那样，它只会阻止机器人，并且只会阻止那些遵守 robots.txt 协议(protocol)的机器人。即使你用这个阻止了谷歌机器人，你的 URL 仍然可能在搜索引擎中被编入索引，尽管在片段中不会看到标题或描述。但是，正如已经建议的那样，您应该使用某种密码保护。