web-crawler - 从搜索引擎阻止网站 - DuckDuckGo

Question

我有一个开发网站https://text-domain.com . (不是真正的网站)
当我去https://duckduckgo.com并搜索 text-domain.com，它确实会返回结果。

到目前为止我尝试了什么:

已创建 robots.txt带有以下代码的文件(放在我的根目录中，即 text-domain.com/robots.txt):

User-agent: *
Disallow: /

然后在我的模板文件中添加这样的元标记:

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

即使在这样做之后，我还是在 DuckDuckGo 上进行了搜索，结果也一样。欢迎大家提出意见。

附注

您好，等了几天后，有2个发现:

尽管如此，仍会获取搜索结果。

但是我看到一条关于该结果的消息说:“我们想展示
您在此处进行描述，但该网站不允许我们。”

是否可以完全阻止显示在结果中？

Answer 1

DuckDuckGo 在包含在他们的结果中是一个奇怪的鸭子。我已经在许多搜索引擎上对这个主题进行了大量研究，并与 DDG 来回发了一些电子邮件。
这是交易。他们从其他搜索引擎获取内容，如 listed here .据我所知，他们的搜索结果并未指明哪个搜索引擎是其来源，因此要删除您的内容，您基本上需要上游到所有来源并从那里删除您的内容。如果这听起来很麻烦，请不要担心 - 无论如何您都想这样做，对吗？
DDG 也有自己的爬虫，恰本地称为 the DuckDuckBot .确实如此 不是 荣誉noindex HTML 标记，也不是 HTTP header (它确实尊重 robots.txt )，但这似乎无关紧要，因为 DuckDuckBot 没有创建新的结果 .据我所知，这在任何地方都没有记录，但我与他们的工作人员进行了交谈，我在下面引用了这些内容:
DDG 说 (2014-06-06):

We get our results from multiple sources and our own crawler wouldn't be the cause of your [problem]. Our crawler only does very specific tasks, like looking (and not actually crawling) parked domains, spam sites, etc.

If there are results from [your website] appearing on DuckDuckGo and shouldn't be, they're likely flowing from one of our upstream sources. If removed there, then they'll stop showing in our results.

我回应:

OK, so nothing gets put in your index via your crawlers, which indeed do not support noindex HTML or HTTP tags?

他们确认:

Yep! Sorry for the confusion and, if you see anything out of the ordinary, please feel free to let us know.

那么剩下的唯一问题是如何从上游提供商中删除您的内容。为此，我指向您 my blog因为它因提供商而异。它的关键是:

使用 noindex HTML 元标记和 x-robots HTTP 标记(用于图像等)告诉搜索引擎不要在其结果中包含某些内容；

在您的 sitemap.xml 中列出您的整个网站文件，以便所有搜索引擎都可以在那里找到它。

使用 robots.txt屏蔽不支持的搜索引擎noindex或 x-robots标签。

对于奖励积分:

设置您的 sitemaps.xml文件，所以他们有 noindex设置(因此不会出现在搜索结果中)。

为您的 robots.txt 做同样的事情文件。

这是一个复杂的世界。