python - 使用 python 从网站抓取非 HTML 数据

Question

我正在尝试将此页面上的当前契约(Contract)价格转换为字符串:http://www.cmegroup.com/trading/equity-index/us-index/e-mini-sandp500.html

我非常想要一个 python 2.6 解决方案。

使用 urllib 很容易获取页面 html，但似乎这个数字是实时的，而不是在 html 中。我检查了 Chrome 中的元素，它是一些 td 类的东西。

但我不知道如何用 python 来解决这个问题。我尝试了 beautifulsoup(但在几次尝试后放弃了让 tar.gz 在我的 windows x64 系统上工作)，然后是 elementtree，但实际上我的编程兴趣是数据分析。我不是网站设计师，也不想成为一名网站设计师，所以它都是一门外语。这是实时价格 XML 吗？

非常感谢收到的任何帮助。理想情况下是一个易于安装的模块和一些实际代码，但非常欢迎所有提示和技巧。

Answer 1

看起来表中的数字是由 Javascript 填充的，因此仅使用 urllib 或其他库获取 HTML 是不够的，因为它们不运行 javascript。您需要使用像 PyQt 这样的库来模拟浏览器呈现页面/执行 JS 来填充数字，然后抓取它的输出 HTML。

请参阅这篇关于使用 PyQt 的博文:http://blog.motane.lu/2009/07/07/downloading-a-pages-content-with-python-and-webkit/ link text