javascript - 用python抓取javascript生成的html

Question

我需要用 python 抓取一个站点。我使用 urlib 模块获取源 html 代码，但我还需要抓取一些由 javascript 函数生成的 html 代码(包含在 html 源代码中)。这个函数在站点“中”的作用是，当您按下按钮时，它会输出一些 html 代码。我怎样才能用python代码“按下”这个按钮？ scrapy 可以帮助我吗？我用 Firebug 捕获了 POST 请求，但是当我尝试在 url 上传递它时，我收到 403 错误。有什么建议吗？

Answer 1

在 Python 中，我认为 Selenium 1.0是要走的路。它是一个库，允许您使用您选择的语言控制真正的网络浏览器。

您需要在运行脚本的机器上安装有问题的 Web 浏览器，但它看起来是以编程方式查询使用大量 JavaScript 的网站的最可靠方法。