javascript - 如何防止搜索引擎索引 ajax 生成的内容

Question

不久前，Google 宣布其抓取工具现在能够为页面上由 ajax 生成的内容编制索引(您只需要遵循一些规则)。但就我而言，我需要确保任何搜索引擎都无法抓取我的 ajax 生成的内容。所以，问题是:
如何防止搜索引擎索引 ajax 生成的内容？

---

非常感谢!

Answer 1

一个好的开始是阅读 Google's documentation关于这个话题。

如果您没有任何主题标签，则只需像往常一样在 robots.txt 中屏蔽此页面。 Google 应该尊重这一点，但请记住，其他爬虫，尤其是那些鲜为人知的爬虫可能不会。

我想到的另一个想法是根据您的 AJAX 请求检查用户代理。但话又说回来，这并不能阻止用户代理欺骗，因此仍然会有一部分 rouge crawlers 可以获取您的敏感内容。

您可能会找到一些其他解决方案，也许是一种智能 JavaScript 黑客，这将阻止大多数爬虫下载您的内容，但这种方法永远不会可靠或可持续，因为最终，有人全天候 24 小时致力于改进爬虫。

如果您的目标是绝对确保某些内容未被编入索引，那么它是否是 AJAX 并不重要。任何敏感数据都需要隐藏在某种身份验证或图灵测试(如验证码)之后。