python - 如何使用 Python、BeautifulSoup 和表中的 Mechanize 提取 Web 数据

Question

我想从此站点的表中提取数据:http://www.pgatour.com/r/stats/info/xm.html?101然后将其另存为 .csv 并将其放入 iWorks Numbers 工作表中。我一直在尝试使用 Python、BeautifulSoup 和 mechanize。我一直在通过查看其他示例在没有知识的情况下进行尝试，但没有成功。我已经走了这么远:

from BeautifulSoup import BeautifulSoup, SoupStrainer
from mechanize import Browser
import re
br = Browser()
response = br.open("http://www.pgatour.com/r/stats/info/xm.html?101").read()

然后我用 firebug 查看代码，我猜我需要解析 <tbody> 之间的数据。和 </tbody> .但我不知道该怎么做。非常感谢任何帮助。

Answer 1

在主页中，旅游统计数据似乎是由 JavaScript 填充的 <div class="tourViewData"> ... populateDDs();BS 不解析 Javascript，请参阅关于它的许多其他 SO 问题。(我不知道如何解决该部分。最坏的情况是，选择该 HTML 选择并将其保存为本地 html 文件，作为解决方法。)

首先，将 s 设置为该 URL 的 BeautifulSoup 对象(我使用 twill 而不是 raw mechanize，将你的 mechanize 等价物放在这里):

from BeautifulSoup import BeautifulSoup, SoupStrainer
#from mechanize import Browser
from twill.commands import *
import re

go("http://www.pgatour.com/r/stats/info/xm.html?101")
s = BeautifulSoup(get_browser().get_html())

无论如何，您要查找的统计表是用 <tbody><tr class="tourStatTournHead"> 标记的表.只是为了让事情有点古怪，其行中的标记属性交替定义为 <tr class="tourStatTournCellAlt"或 <tr class=""... .我们应该搜索第一个 <tr class="tourStatTournCellAlt" ，然后处理每个 <tr>在那之后的表格中，除了标题行 ( <tr class="tourStatTournHead"> )。

遍历行:

tbl = s.find('table', {'class':'tourStatTournTbl'})

def extract_text(ix,tg):
    if ix==2: # player name field, may be hierarchical
        tg = tg.findChildren()[0] if (len(tg.findChildren())>0) else tg
    return tg.text.encode()

for rec in tbl.findAll('tr'): # {'class':'tourStatTournCellAlt'}):
    # Skip header rows
    if (u'tourStatTournHead' in rec.attrs[0]):
        continue        
    # Extract all fields
    (rank_tw,rank_lw,player,rounds,avg,tot_dist,tot_drives) = \
        [extract_text(i,t) for (i,t) in enumerate(rec.findChildren(recursive=False))]
    # ... do stuff

我们为玩家名称添加了一个辅助函数(它可能是分层的，也可能不是分层的，如果它嵌入了 Titleist 标志。)可能您想将大多数字段转换为 int()，除了 player(string) 和 avg(float)；如果是这样，请记住从排名字段中删除可选的“T”(表示并列)，并从 tot_dist 中删除逗号。