robots.txt - 停止Google索引子域名

Question

我有“ klient”子域用于为我们的客户测试网站，但我不想将其编入索引。我在robots.txt（位于我们网站的根目录中）中设置了以下代码：

User-agent: *
disallow: /subdom/klient/*

但是我不确定它是否真的有效，因为我现在在Google搜索结果中找到了测试站点...

哪里可能有问题，或者我们怎么能阻止Google和其他漫游器将该文件夹编入索引...？

谢谢

Answer 1

您可以通过在子域的根目录中放置robots.txt来实现。

因此，在您的klient.example.com中，放置具有以下内容的robots.txt：

User-agent: *
Disallow: /

如果要删除已被索引的页面，请使用您的子域创建一个新的Webconsole网站，然后在该站点中删除被索引的页面。