Python - 使用 urllib2 检索动态内容

Question

我正在尝试将 YouTube 链接嵌入到网页中。当我使用 urllib2 检索页面时，我没有在响应中看到链接。我认为嵌入的视频是由页面上的脚本检索的，当我使用浏览器时该脚本会被加载。我如何使用 python 的 urllib2 获得相同的结果？

示例网页是 http://busymovies.appspot.com/News.html?id=2965032

Answer 1

要提取动态生成(使用 javascript)的内容，您可以使用 selenium :

#!/usr/bin/env python
from contextlib import closing
from selenium.webdriver import Firefox # pip install selenium

url = "http://busymovies.appspot.com/News.html?id=2965032"

# use firefox to get page with javascript generated content
with closing(Firefox()) as browser:
    browser.get(url)
    link = browser.find_element_by_link_text("Direct Link")
    print link.get_attribute("href")

输出

http://www.youtube.com/v/nLJYkat4HpE&hl=en_US&feature=player_embedded&version=3