javascript - 抓取 HTML 和 JavaScript

Question

我正在从事一个项目，我需要在其中抓取多个网站并从中收集不同类型的信息。文本、链接、图像等信息。

我正在为此使用 Python。我已经为此目的在 HTML 页面上尝试了 BeautifulSoup 并且它有效，但是在解析包含大量 JavaScript 的网站时我被卡住了，因为这些文件的大部分信息都存储在 <script> 中。标签。

有什么办法吗？

Answer 1

首先，从页面中抓取和解析 JS 并非易事。但是，如果您改用 headless Web 客户端，它可以大大简化，它将像常规浏览器一样为您解析所有内容。
唯一不同的是它的主界面不是GUI/HMI，而是API。

例如，您可以使用 PhantomJS使用支持 headless 模式的 Chrome 或 Firefox。

要获得更完整的 headless 浏览器列表，请查看 here .