SEO:可以抓取动态生成的链接吗？

Question

我有一个页面包含 <div>带有 onclick=""代码的标记调用 ajax 请求以获取 json 数据，然后遍历结果以形成链接 ( <a />) 以附加到页面。这些链接在我网站的任何其他地方都不存在。如何使这些动态生成的链接可抓取？

我最初的想法是打开 <div>标记为 <a>带有 href="#"的标签，但由于我对典型爬虫的工作方式了解有限，我认为这不会解决我的问题，因为“#”将被爬虫识别，而不一定是动态生成的输出.除此之外，我根本不想改变滚动定位，这也排除了给出 <a> 的可能性。标记一个 id 并让它引用自己。

除了制作一个包含我需要抓取的所有链接的新页面之外，我还有其他选择吗？谢谢。

Answer 1

一般来说，搜索引擎无法找到或索引通过 JavaScript 创建或提供的内容。 Google 确实支持 crawlable Ajax但是将它用作访问您的内容的唯一方式不利于可访问性。此外，其他搜索引擎无法访问该内容，这也不是一件好事。基本上 crawable ajax is a bad thing .

您应该始终在不需要 JavaScript 获取内容的情况下提供您的内容。然后，您可以通过添加 JavaScript 来改进您的站点，从而更快或更轻松地获取内容。这叫做 Progressive Enhancement以及好的网站是如何构建的。