seo - 如何阻止谷歌抓取我的 Bitly Branded 短域名？

Question

问题是我们正在使用 bitly branded short domains 作为 url shortener。我们的品牌短域名是 d.so.city

现在，每当我在 google 上搜索 site:so.city 时，所有 d.so.city 链接甚至会出现在真正的网站 url 之前。我不希望 bitly url 被抓取。我知道这可以通过子域的 robots.txt 轻松完成，但我们无法访问子域的 robots.txt 文件，因为它与 bitly 完全链接。

我也尝试过谷歌网站管理员的参数阻止，但也没有运气。我也浏览了 Bitly 文档，但在那里也找不到任何相关内容。

下面是我的站点搜索的快照:

我不希望这些 d.so.city 链接出现在谷歌搜索中。如果有人可以提供帮助，我们将不胜感激。

Answer 1

我认为 d.so.city 下的每个页面都没有索引元标记应该可以解决问题。

为防止大多数搜索引擎网络抓取工具将您网站上的网页编入索引，请将以下元标记放入您网页的部分:

<meta name="robots" content="noindex">

要防止仅 Google 网络爬虫将页面编入索引:

<meta name="googlebot" content="noindex">

如果您告诉 Google 网站管理员进行参数屏蔽，它实际上是在尝试屏蔽在抓取特定页面后会发现的内容。

引用:https://support.google.com/webmasters/answer/93710?hl=en