python - 使用python读取动态生成的网页

Question

我正在尝试使用 python 和美丽的汤来抓取一个网站。我遇到了在一些网站上，虽然在浏览器上看到的图片链接在源代码中却看不到。但是在使用 Chrome Inspect 或 Fiddler 时，我们可以看到相应的代码。我在源代码中看到的是:

<div id="cntnt"></div>

但是在 Chrome Inspect 上，我可以看到在这个 div 类中生成的一大堆 HTML\CSS 代码。有没有办法在 python 中加载生成的内容？我在 python 中使用常规的 urllib，我能够获取源代码但没有生成的部分。

我不是网络开发人员，因此我无法更好地表达我的行为。如果我的问题似乎含糊不清，请随时澄清!

Answer 1

您需要 JavaScript 引擎来解析和运行页面内的 JavaScript 代码。有一堆 headless 浏览器可以帮助你

http://code.google.com/p/spynner/

http://phantomjs.org/

http://zombie.labnotes.org/

http://github.com/ryanpetrello/python-zombie

http://jeanphix.me/Ghost.py/

http://webscraping.com/blog/Scraping-JavaScript-webpages-with-webkit/