javascript - 使用使用 Javascript/Ajax 更新的 DOM 进行 Web 抓取

Question

我想从网站收集数据用于教育用途。基本上基于统计的网络开发。不管怎样，我想从中收集数据的网站使用 Javascript/Ajax 来更新他们网站上的数字。我很想听听其他人对收集这种形式的数据的一些想法。如果我抓取源，最初不包含任何数据。我已经查看了 XQuery，如果我可以获得更新的 DOM 树，它可能会有用，但直到那时。我可以看到 Firefox 中的 Firebug 正在更新树，但是从那里或其他来源获取代码的简单方法是什么？感谢您的指导。

Answer 1

根据网站的复杂程度，您或许可以绕过使用 javascript 的需要。查看 Firebug 中显示的 ajax 请求。如果它们是可预测的，例如总是 /getData?item_id=123，那么您可以使用您选择的脚本语言来抓取数据。