seo - Bing.com 索引了我从未提交过的 URL

Question

有时，在启动新的网络项目之前，我会将网站/应用程序放在子域下，例如 new.domain.com 或 beta.domain.com。

这些 URL 仅供我的客户使用。因此，它们不会被提交到搜索引擎，也没有指向它们的任何公共(public)链接。

但是，我在某些情况下注意到，这些子域无论如何都会被 Bing 编入索引。这怎么可能？

Bing 是否会抓取通用子域名，例如新的、旧的、存档的、测试版的……？还是在邮件中发送的 URL 在 Office 365(我的客户使用的)中被抓取并被编入索引？

Answer 1

这可能是用户从该搜索引擎安装了工具栏。

防止这种情况的最好方法是为子域中的所有页面添加无索引标记，甚至您可以使用 robot.txt 进行阻止。