python - 使用 xpath [Python] 抓取新的 ESPN 站点

Question

我正在尝试抓取新的 ESPN NBA 记分牌。这是一个简单的脚本，它应该返回 2015 年 4 月 5 日所有比赛的开始时间:

import requests
import lxml.html
from lxml.cssselect import CSSSelector

doc =  lxml.html.fromstring(requests.get('http://scores.espn.go.com/nba/scoreboard?date=20150405').text)

#xpath
print doc.xpath("//title/text()") #print page title
print doc.xpath("//span/@time")
print doc.xpath("//span[@class='time']")
print doc.xpath("//span[@class='time']/text()")

#CCS Selector
sel = CSSSelector('span.time')
for i in sel(doc):
    print i.text

它不返回任何内容，但返回页面标题:

['NBA Basketball Scores - NBA Scoreboard - ESPN']
[]
[]
[]

有人可以帮忙吗？谢谢

Answer 1

页面的本质是相当动态的——有异步 XHR 请求，涉及 javascript 逻辑。 requests 不是浏览器，只下载初始 HTML 页面，HTML 中没有 span 元素 class="time" 请求获取。

解决该问题的方法之一是让真正的浏览器使用 selenium .下面是一个使用 PhantomJS headless 浏览器的例子:

>>> from selenium import webdriver
>>> 
>>> url = "http://scores.espn.go.com/nba/scoreboard?date=20150405"
>>> 
>>> driver = webdriver.PhantomJS()
>>> driver.get(url)
>>> 
>>> elements = driver.find_elements_by_css_selector("span.time")
>>> for element in elements:
...     print element.text
... 

1:00 PM ET
3:30 PM ET
6:00 PM ET
7:00 PM ET
7:30 PM ET
9:00 PM ET
9:30 PM ET 

---

或者，您可以在 div 的 data-data 属性中使用 id="scoreboard-page" 查找所需的数据:

import json
from pprint import pprint

import lxml.html
import requests

response = requests.get('http://scores.espn.go.com/nba/scoreboard?date=20150405')
doc = lxml.html.fromstring(response.content)

data = doc.xpath("//div[@id='scoreboard-page']/@data-data")[0]
data = json.loads(data)

pprint(data)