python - 如何解析在 标签下包含 和 标签的行的 HTML 表格？

Question

我似乎找不到这个问题的答案，所以我很困惑。我正在使用 Beautifulsoup 和以行标签 <th> 开头的表格解析 HTML 表格然后是数据 <td> .我正在解析数据然后将其写入 CSV 文件，但我无法为以 <th> 开头的每一行包含“行标题”标签。

这是我目前得到的，它完成了大部分工作，除了 <th>。行标签 <th> :

headers = [header.text.strip() for header in table.find_all('th',{'scope' :'col'})]

rows = []

for row in table.find_all('tr'):
    rows.append([val.text.encode('utf8').rstrip() for val in row.find_all('td')])
with open('filename.csv', 'wb') as f:
    writer = csv.writer(f)
    writer.writerow(headers)
    writer.writerows(row for row in rows if row)

有没有办法将其附加到 rows还有吗？非常感谢任何帮助。

Answer 1

BeautifulSoup find_all 函数可以获取一个列表，因此要获取第 th，您可以按如下方式修改脚本:

headers = [header.text.strip() for header in table.find_all('th',{'scope' :'col'})]
rows = []

for row in table.find_all('tr'):
    rows.append([val.text.encode('utf8').rstrip() for val in row.find_all(['td', 'th'])])

with open('filename.csv', 'wb') as f:
    writer = csv.writer(f)
    writer.writerow(headers)
    writer.writerows(row for row in rows if row)