python - 如何扫描网页并获取图像和 YouTube 嵌入？

Question

我正在构建一个网络应用程序，我需要在其中获取给定 URL 上嵌入的所有图像和任何 Flash 视频(例如 youtube)。我正在使用 Python。

我已经用谷歌搜索了，但没有找到任何关于此的有用信息(可能是因为我不知道这叫做搜索什么)，有没有人对此有任何经验并且知道如何完成？

如果有可用的代码示例，我很乐意查看。

谢谢!

Answer 1

BeautifulSoup是一个很棒的屏幕抓取库。使用 urllib2 来获取页面，并使用 BeautifulSoup 来解析它。这是他们文档中的代码示例:

import urllib2
from BeautifulSoup import BeautifulSoup

page = urllib2.urlopen("http://www.icc-ccs.org/prc/piracyreport.php")
soup = BeautifulSoup(page)
for incident in soup('td', width="90%"):
    where, linebreak, what = incident.contents[:3]
    print where.strip()
    print what.strip()
    print