indexing - 如何检查 googlebot 是否会索引给定的 url？

Question

我们正在做一个白标签网站，它不能被谷歌索引。

有谁知道一种工具可以检查 googlebot 是否会为给定的 url 编制索引？

我输入了 <meta name="robots" content="noindex" />在所有页面上，因此不应将其编入索引 - 但是我宁愿通过测试来 110% 确定。

我知道我可以使用 robots.txt，但是 robots.txt 的问题如下:我们的主站点应该被索引，它是 IIS (ASP.Net) 上与白标签站点相同的应用程序 - 唯一的区别是 url。

我无法根据传入的 url 修改 robots.txt，但我可以从我的代码隐藏中向所有页面添加元标记。

Answer 1

您应该添加一个 Robots.txt到您的网站。

但是，防止搜索引擎索引站点的唯一完美方法是要求进行身份验证。 (有些蜘蛛会忽略Robots.txt)

编辑:您需要为 Robots.txt 添加一个处理程序，以根据主机 header 提供不同的文件。
您需要配置 IIS 以通过 ASP.Net 发送 Robots.txt 请求；确切的说明取决于 IIS 版本。