gpt4 book ai didi

python - 使用 BeautifulSoup 和 Requests 提取 html 单元格数据

转载 作者:太空宇宙 更新时间:2023-11-03 18:08:05 26 4
gpt4 key购买 nike

我有一个简单的 html 表,它是通过网站请求提取的:

<tr align="center" class="tableRow1Font" >
<td>OPEN</td>
<td>80002</td>
<td>
<span style="font-weight:bold;">
ACCY
</span>
<A HREF="http://bulletin.gwu.edu/search/?P=ACCY+2001" target="_blank">
<span style="font-weight:bold;">
2001
</span>
</A>
</td>

<td>10</td>
<td>Intro Financial Accounting</td>
<td>3.00</td>
<td> Ray, K</td>
<td><a href="http://virtualtour.gwu.edu/#MON" target="_blank" >MON</a> 113</td>
<td>MW<br>12:45PM - 02:00PM</td>
<td>08/25/14 - 12/06/14</td>
<td>

</td>
</tr>

我已经在 python 中设置了提取,如下所示:

import bs4
import requests

response = requests.get('http://my.gwu.edu/mod/pws/courses.cfm?campId=1&termId=201501&subjId=ACCY')
soup = bs4.BeautifulSoup(response.text)

使用 Beautiful Soup,我如何从该表中提取所有“td”标题并用逗号分隔它们?

我希望提取的数据如下所示:

OPEN, 80002, ACCY 2001, 10, Intro to Financial Accounting, 3.00, Ray, K, MW 12:45-02:00

最佳答案

这将帮助您开始。 html 页面中仍然有很多无关的空白需要从结果中清除。

import bs4
import requests

response = requests.get('http://my.gwu.edu/mod/pws/courses.cfm?campId=1&termId=201501&subjId=ACCY')
soup = bs4.BeautifulSoup(response.text)

for tr in soup.findAll('tr')[11:]:
stack = []
for td in tr.findAll('td'):
stack.append(td.text.strip())
print(",".join(stack))

请注意,这会忽略页面上的前 11 个 tr,因为它们似乎具有不相关的信息。

您还需要找到一种更好的方法来保存数据,而不是简单地用逗号分隔数据 - 否则,类(class)描述中的任何逗号都可能会导致您尝试读回数据的任何代码失败。使用 CSV 库可能比手动用逗号连接数据更好。

关于python - 使用 BeautifulSoup 和 Requests 提取 html 单元格数据,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/26476905/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com