indexing - 您如何防止开发站点被索引？

Question

目前，我的开发站点正在通过 SERP 编制索引。我希望防止这种情况发生。我认为你可以包含一个标签:

wmould 阻止它被跟踪和索引。这是否需要在每个 ASP.NET 页面上？特定页面？任何使用元名称标签的页面？该站点非常大，因此在每个页面上插入它会很耗时。我希望会有更快的方法？

Answer 1

案例 #1:

如果您的站点在 Apache 上运行，并且启用了 mod_headers(通常是这样)，您可以将以下单行添加到您的 .htaccess 文件中:

Header set X-Robots-Tag "noindex, nofollow"

案例#2:

如果您的站点不是在 Apache 上运行，并且您想有效地对搜索引擎隐藏页面，则需要它们为这些页面编制索引(这可能看起来矛盾)。为什么？因为当他们索引这些页面时，您可以告诉他们不要列出它们。通过使用机器人元标记。

在这种情况下(当服务器不是 Apache 时)将以下行添加到您的所有页面(或仅添加到您的标题页面)

<meta name="robots" content="noindex,nofollow"/>

最后一步: 无论您的站点是否在 apache 上运行，创建一个 robots.txt 文件并添加以下行:

Disallow: /