python - 无需浏览器的导航实用程序，重量轻且防故障

Question

我有一个用例，我需要在网站上填写表格，但无法访问 API。目前我们正在将 webdriver 与浏览器一起使用，但它变得非常笨重并且不是万无一失的，因为该过程是异步的。有没有什么方法可以在没有浏览器的情况下完成，并通过密切监视挂起的请求使进程同步？

Casperjs 和 htmlunitsdriver 似乎是我拥有的一些最佳选择。有人可以在维护、防故障、重量轻方面解释优点或缺点。

我需要浏览复杂且许多不同类型的网页。我想浏览的一些网页主要由 JS 驱动。

Scrapy 可以用于此目的吗？

Answer 1

使用 Htmlunitdriver。为了使其成为失败证明，您必须相应地进行一些更改。但它可以在没有浏览器的情况下工作。