Python——从网站中提取某些链接

Question

我想从 website 中提取某些链接.

为了提取所有链接，我试过:

import urllib
import xml.etree.ElementTree as ET
from BeautifulSoup import *

url = 'http://pdok.bundestag.de/index.php?qsafe=&aload=off&q=kleine+anfrage&x=0&y=0&df=22.10.2013&dt=13.01.2016'
uh = urllib.urlopen(url)
data = uh.read()
soup=BeautifulSoup(data)
soup.prettify()

for href in soup.findAll('a'):
    print href

现在，我得到了一个链接列表，但出于某种原因，我没有得到 tbody 中的重要链接。我也尝试使用 ElementTree，但我在阅读链接时遇到错误，因为它使用了一些无效的符号(？)。任何帮助深表感谢! :)

Answer 1

urllib 使用 Javascript off 加载网站的 HTML。您试图在 tbody 中抓取的链接由 JavaScript 呈现，因此永远不要加载。

您可以通过在浏览器中关闭 JavaScript 并访问该网站来复制此行为。如果你经常抓取，你可能希望下载一个浏览器插件，它允许你快速打开和关闭 JavaScript。

要抓取使用 JavaScript 加载 HTML 内容的网站，您可能希望探索浏览器自动化选项，例如 selenium。