seo - Robots.txt，加密字符？不允许 :/azr94v2hh2lg/

Question

有人知道这是什么吗？我在我的 robots.txt 中找到了这个。这是某种加密字符吗？

Disallow: /azr94v2hh2lg/

Answer 1

Is this some kind of encrypted characters?

不，robots.txt 不支持加密。显然，它的目的是成为一个不存在的 URL，以抵消一些网络爬虫在多年前就应该出现的错误。

我不知道这个的原始来源是什么，它完全有可能不再在线，但这里有一个关于这个问题的来源，它反过来引用了另一个似乎不再有这个内容的网站。

摘自http://seoserviceguide.com/what-is-indexing-and-pagerank/ :

User-agent: *
Disallow: /azr94v2hh2lg/

Note: this “/azr94v2hh2lg/” “tells Google as well as any other robot type search engine to stay out of your “/azr94v2hh2lg/” directory. Of course you do not have this directory on your Web server. By doing this we’re providing a real disallow directive which will keep search engines happy and not deliver any errors. You can replace the “/azr94v2hh2lg/” with any other directory name you wish just as long as the directory does not and will never be part of your Website and it will have the same effect.” – www.scrubtheweb.com.

如果 robots.txt 文件至少包含一个非空的 Disallow 条目，一些爬虫可能无法正常爬取网站，而这一字符序列是伪造的-有人想出的随机字符串来实现这个目的。

至于这种说法的有效性，我无法发表评论。当涉及到 SEO 建议时，我发现有大量可疑的谣言和未经证实的说法。

但是，如果这是真的，我非常怀疑这个问题是否仍然相关。