javascript - 使用 Ajax/JavaScript 的网络爬虫

Question

我尝试过使用HtmlUnit实现一个爬虫，它可以获取Ajax请求和javascript执行产生的结果，但是HtmlUnit并不能满足我的需求，因为它无法获取所有渲染的DOM元素通过执行 JavaScript 或 AJax 生成。然后我还尝试使用 pywebkitgtk 和 pyQtwebkit，它确实生成了一些动态 DOM 元素。但它们工作不稳定，我不知道如何解决它。似乎有人提到使用 selenium。任何人都可以给我一些实现 Ajax 爬虫的建议吗？非常感谢!

Answer 1

PhantomJS可能是解决您的问题的好方法。您还可以使用一些爬虫 api，例如Unicrawler , 来简化这个。希望它有效。