python - 使用 BeautifulSoup 找不到 'div' 的内容

Question

我正在尝试从 MLB 网站上抓取一些有关 MLB 球员的信息。但是，使用 urllib2 和 BeautifulSoup，我找不到“div”下的内容。但我可以清楚地看到 Chrome 上的内容。

一个例子是，转到页面(http://mlb.mlb.com/team/player.jsp?player_id=150378)。右上角的状态信息显示“已发布”。但我无法使用 BS4 找到此字符串/内容。

这是我的代码:

base_url = 'http://mlb.mlb.com/team/player.jsp?player_id=150378'
request = urllib2.Request(base_url)
response = urllib2.urlopen(request)
soup = BeautifulSoup(response)
player_status = soup.findAll('div',id='player_status')
print player_status

我期待它有一个像'Status: Released'这样的字符串，但结果只显示

[<div id="player_status"></div>]

我以前从来没有遇到过这个问题。有人可以帮我弄这个吗？谢谢!!

Answer 1

页面上的播放器信息来自对 JSON API 的额外 XHR 请求的响应。您可以模拟它，例如，使用 requests :

>>> import requests
>>> 
>>> url = "http://mlb.mlb.com/lookup/json/named.player_info.bam?sport_code=%27mlb%27&player_id=150378"
>>> 
>>> response = requests.get(url)
>>> data = response.json()
>>> data['player_info']['queryResults']['row']['status']
Released