javascript - 按下按钮后如何访问网页的HTML

Question

我正在尝试从以下网页抓取一些数据:

College Board - Georgia Institute of Technology

但我需要访问的信息只有在按下左侧的“应用”选项卡后才会显示。由于 URL 没有改变，我如何模拟按下按钮以抓取 HTML？

我正在使用 Python3.3 和请求模块。

Answer 1

根据页面源代码，您需要的信息隐藏在javascript代码中，并在点击“应用”链接后计算和呈现。

requests 根本无法在浏览器中进行用户操作，并且由于单击“应用”后没有其他请求，因此如果没有真正的浏览器来运行该 js 代码，您将无法获取数据. Mechanize也无济于事，因为它无法处理 js。

考虑使用 selenium (仅供引用，您也可以 use a headless PhantomJS browser )。

希望对您有所帮助。