python - 使用 BeautifulSoup 4 和 Python 解析 HTML

Question

我正在尝试解析 http://mobile.de 的结果列表.

首先我用 HTMLParser 试了一下类，但出现错误:HTMLParser.HTMLParseError: EOF in middle of construct .

所以我尝试使用 BeautifulSoup 4，它更适合无效的网站，但是 <div>我正在搜索无法访问，我不知道是我的错还是网站的错。

from bs4 import BeautifulSoup
    import urllib
    import socket

    searchurl = "http://suchen.mobile.de/auto/search.html?scopeId=C&isSearchRequest=true&sortOption.sortBy=price.consumerGrossEuro"
    f = urllib.urlopen(searchurl)
    html = f.read()
    soup = BeautifulSoup(html)

    for link in soup.find_all("div","listEntry "):
        print link

listEntry是<div>随着汽车的结果。但是他好像没有解析<form id="parkAndCompareVehicle" name="parkAndCompareVehicle" action=""> .我在 soupobject 中找不到表单。

错在哪里？

Answer 1

应该是这样的:

for link in soup.findAll('div', {'class': 'listEntry '}):
    print link

属性在字典中指定 -findAll(self, name=None, attrs={}, recursive=True, text=None, limit=None, **kwargs)

==========

更新。抱歉，似乎在 bs4 中你也可以那样做。

至于错误，您要查找的表单不在结果中，因为据我所知，它包含了 listEntries。

这有什么问题:

form = soup.find('form', id='parkAndCompareVehicle')
print len(form.find_all('div', 'listEntry '))