javascript - Robots.txt 拒绝 #!网址

Question

我正在尝试向 robots.txt 文件添加拒绝规则，以拒绝访问单个页面。

网站 URL 的工作方式如下:

• http://example.com/#!/homepage
• http://example.com/#!/about-us
• http://example.com/#!/super-secret

然后 Javascript 根据 URL 换出显示的 DIV。

我如何请求搜索引擎蜘蛛不列出以下内容:

• http://example.com/#!/super-secret
• http://example.com/index.php#!/super-secret

提前致谢

Answer 1

你不能(本身)。搜索引擎无论如何都不会运行 JavaScript，因此通常会忽略片段标识符。您只能拒绝将从服务器请求的 URL(没有片段标识符)。

Google 会将 hashbangs 映射到 different URIs并且您可以弄清楚它们是什么(您应该已经这样做了，因为这就是使用散列刘海的意义所在)并将它们放入 robots.txt。

然而，哈希刘海是 problematic at best ，所以我会废弃它们以支持使用 the history API这允许您使用理智的 URI。