indexing - 从谷歌搜索中完全排除目录

Question

所以我想排除整个目录(及其子文件夹)被任何搜索引擎索引。假设我的域名为“example.com”，目录名为“directory-to-exclude”

现在当我输入以下关键字时

要排除的目录示例(没有 .com)

我得到的是谷歌搜索结果:

directory-to-exclude - example

example.com/directory-to-exclude/

A description for this result is not available because of this site's robots.txt – learn more.

所以它确实显示了，即使内容是隐藏的并且没有被索引。但我想完全阻止谷歌显示它。现在，肯定有人必须知道我的目录名称才能用谷歌搜索它，但它可以被猜到(并且不想隐蔽地重命名它)

到目前为止，我所做的是将这些行放在我的 robots.txt 中

User-agent: *
Crawl-delay: 10

# Directories
Disallow: /directory-to-exclude/

# Paths (clean URLs)
Disallow: http://www.example.com/directory-to-exclude/
Disallow: http://example.com/directory-to-exclude/
Disallow: /directory-to-exclude/

仍然没有成功。有帮助吗？

Answer 1

Google 已经为您的网站编写了元描述:

“由于该站点的 robots.txt，无法提供此结果的描述 – 了解更多信息。”

所以您的 robots.txt 事实上是正确的。然而，如果有指向该目录的链接，或者谷歌认为它非常重要，它仍然会抓取该页面。如果你想摆脱它，你可以在该目录中的每个页面上使用 noindex 标签:

<meta name="robots" content="noindex">