python - 从网站中提取表格

Question

我多次尝试在该网站检索该表: http://www.whoscored.com/Players/845/History/Tomas-Rosicky(“历史参与”下的)

import urllib2 
from bs4 import BeautifulSoup 
soup = BeautifulSoup(urllib2.urlopen('http://www.whoscored.com/Players/845/').read())

这是我用来检索表 html 的 Python 代码，但我得到的是空字符串。帮帮我吧!

Answer 1

所需的表是通过对http://www.whoscored.com/StatisticsFeed/1/GetPlayerStatistics端点请求的异步API调用形成的，该请求返回一个JSON 响应。换句话说，urllib2 将返回页面的初始 HTML 内容，不含“动态”部分。换句话说，urllib2 不是浏览器。

您可以使用浏览器开发人员工具研究该请求:

现在，您需要在代码中模拟此请求。 requests package是您应该考虑使用的东西。

这是一个关于 whoscored.com 的类似问题，我之前已经回答过，这里有一个示例工作代码，您可以将其用作起点:

• XHR request URL says does not exist when attempting to parse it's content