javascript - Diffbot 是否执行 JavaScript？

Question

使用 Diffbot API 时，API 是否会在加载 HTML 后获取通过 JS 添加的内容，还是 Diffbot 只看到立即可用的 HTML？

Answer 1

是的，Diffbot 可以看到 JavaScript 生成的内容。

Diffbot 是一个视觉学习机器人，它的作用不仅仅是解析给定 URL 处的网页源代码。它基于 Chrome 的精简无 session 版本，旨在泄漏内存并故意成为一个糟糕的浏览器，所有这些的目标都是尽可能快。 Diffbot 在此浏览器中呈现请求的页面，然后对其进行目视检查以获取我们已知期望的组件。

需要注意的是，Article API 不会在单独的调用中执行 JavaScript 代码 - 仅在批量 API 调用、Crawlbot 调用中以及作为分析 API(目前处于测试版)的一部分中执行。人们必须根据具体情况联系 Diffbot 团队，以启用每个域的全页渲染，并为 Article API 启用 JS。

要记住的另一个限制是 Crawlbot 不会收集 JS 生成的链接。因此，如果通过 JS 将链接添加到页面，Crawlbot 将看不到看到它们。当其他 API 调用时，Crawlbot 将执行 JS。

关于自定义 API，开发界面中的预览窗口将 not render JavaScript内容，但在调用给定 URL 的 API 时该内容将可用。 Diffbot 团队正在努力解决这一差异。

来源:Diffbot Support