python - 将多个html文件抓取到CSV

Question

我正试图从我硬盘上的 1200 多个 .htm 文件中删除行。在我的电脑上，它们位于“file:///home/phi/Data/NHL/pl07-08/PL020001.HTM”。这些 .htm 文件是从 *20001.htm 到 *21230.htm 的顺序。我的计划是最终通过电子表格应用程序将我的数据放入 MySQL 或 SQLite 中，或者如果我可以从此过程中获得干净的 .csv 文件，则直接放入。

这是我第一次尝试代码 (Python)、抓取，我刚刚在我那破烂的奔腾 IV 上安装了 Ubuntu 9.04。不用说我是新手并且有一些障碍。

如何让 Mechanize 按顺序遍历目录中的所有文件。 Mechanize 甚至可以做到这一点吗？ mechanize/Python/BeautifulSoup 可以读取“file:///”样式的 url 还是有另一种方法将其指向/home/phi/Data/NHL/pl07-08/PL020001.HTM？以 100 或 250 个文件增量执行此操作还是只发送所有 1230 个文件是否明智？

我只需要以此“<tr class="evenColor">”开头并以此“</tr>”结尾的行。理想情况下，我只想要其中包含“SHOT”|“MISS”|“GOAL”的行，但我想要整行(每一列)。请注意，“GOAL”是粗体，所以我必须指定它吗？每个 htm 文件有 3 个表。

我还希望父文件 (pl020001.htm) 的名称包含在我抓取的行中，这样我就可以在最终数据库中将它们标识在它们自己的列中。我什至不知道从哪里开始。这是我到目前为止所拥有的:

#/usr/bin/python
from BeautifulSoup import BeautifulSoup
import re
from mechanize import Browser

mech = Browser()
url = "file:///home/phi/Data/NHL/pl07-08/PL020001.HTM"
##but how do I do multiple urls/files? PL02*.HTM?
page = mech.open(url)

html = page.read()
soup = BeautifulSoup(html)
##this confuses me and seems redundant
pl = open("input_file.html","r")
chances = open("chancesforsql.csv,"w")

table = soup.find("table", border=0)
for row in table.findAll 'tr class="evenColor"'
#should I do this instead of before?
outfile = open("shooting.csv", "w")

##how do I end it?

我应该使用 IDLE 还是类似的东西？只是 Ubuntu 9.04 中的终端？

Answer 1

你不需要 Mechanize 。由于我不完全了解 HTML 内容，因此我会首先尝试查看匹配的内容。像这样:

import glob
from BeautifulSoup import BeautifulSoup

for filename in glob.glob('/home/phi/Data/*.htm'):
    soup = BeautifulSoup(open(filename, "r").read()) # assuming some HTML
    for a_tr in soup.findAll("tr", attrs={ "class" : "evenColor" }):
        print a_tr

然后选择你想要的东西并用逗号将它写入标准输出(并将它重定向 > 到一个文件)。或者通过 python 编写 csv。