python - 使用 Python BeautifulSoup 查找 URL 中的特定框架以抓取数据

Question

我是 HTML 和网页抓取的初学者，正在尝试使用 Python BeautifulSoup 获取下面显示的数据。

[
Theft06/24/15 08:47 PM2000 BLOCK OF S COLLEGE AV

Vandalism06/24/15 07:32 PM3600 BLOCK OF WELLBORN RD

Theft06/24/15 07:30 PM800 BLOCK OF RIO GRANDE LN

Theft06/24/15 06:40 PM1800 BLOCK OF FINFEATHER RD
]

但是当我解析网站 http://spotcrime.com/#77801 时，我在解析的 URL 中看不到 div，因此无法获取数据。

我正在使用的代码是:

html=urllib2.urlopen('http://spotcrime.com/#77801')

soup = BeautifulSoup(html.read())
print soup

Answer 1

您找不到该 div，因为它是由 javascript 动态加载和插入的。然而，在这种情况下，您可以做的是复制获取所有这些犯罪数据的 ajax 请求。

看起来他们的内部 api 不需要任何类型的身份验证，因此您可以继续发送以下 api 请求:获取 api.spotcrime.com/crimes.json?lat=30.639155&lon=-96.3647937&radius=0.02&key=spotcrime-private-api-key

作为奖励，您也不需要抓取网站，因为所有内容都以 JSON 对象的形式整齐地返回。