python - 无法从Python中的html页面中提取文本

Question

我对网络抓取非常陌生。我读到了 BeautifulSoup 并尝试使用它。但我无法提取具有给定类名“company-desc-and-sort-container”的文本。我什至无法从 html 页面中提取标题。这是我尝试过的代码:

from BeautifulSoup import BeautifulSoup
import requests

url= 'http://fortune.com/best-companies/'    
r = requests.get(url)

soup = BeautifulSoup(r.text)

#print soup.prettify()[0:1000]
print soup.find_all("title")

letters = soup.find_all("div", class_="company-desc-and-sort-container")

我收到以下错误:

 print soup.find_all("title")
TypeError: 'NoneType' object is not callable

Answer 1

您正在使用 BeautifulSoup 版本 3，该版本不仅不再维护，而且没有 find_all()方法。而且，由于点符号用作 find() 的快捷方式，BeautifulSoup 尝试查找具有“find_all”标记名称的元素，结果为 None.然后，它将执行 None("title") ，结果为:

TypeError: 'NoneType' object is not callable

升级到BeautifulSoup版本4，替换:

from BeautifulSoup import BeautifulSoup

与:

from bs4 import BeautifulSoup

确保安装了beautifulsoup4软件包:

pip install --upgrade beautifulsoup4