selenium-webdriver - Scrapy 或 Selenium 或 Mechanize 来抓取网络数据？

Question

我想从网站上抓取一些数据。

基本上，该网站有一些表格显示并显示大约 50 条记录。对于更多记录，用户必须单击某个按钮，使 ajax 调用获取并显示接下来的 50 条记录。

我以前了解 Selenium webdriver(Python)。我可以在 Selenium 中很快地做到这一点。但是，Selenium 更像是一种自动化测试工具，而且速度很慢。

我做了一些研发，发现使用 Scrapy 或 Mechanize，我也可以做同样的事情。

我应该为此选择 Scrapy 还是 Mechanize 或 Selenium？

Answer 1

我建议您结合使用 Mechanize 和 ExecJS ( https://github.com/sstephenson/execjs ) 来执行您可能遇到的任何 javascript 请求。我已经结合使用这两种 gem 已经有一段时间了，它们做得很好。

您应该选择它而不是 Selenium，因为与必须在 headless 浏览器中渲染整个页面相比，它会快得多。