python - BeautifulSoup table 抓取只是有时会抓取-6ren

python - BeautifulSoup table 抓取只是有时会抓取

转载作者：行者123 更新时间：2023-12-01 03:52:49

24

4

我正在努力从几个文件中提取一个特定的表格，其中包含几家使用 BeautifulSoup4 的公司的董事签名。我的程序在保存表格的部分上方找到一个标题，然后从该位置向下数两个表格以找到正确的表格(这些文件是政府文件意味着该格式在几乎所有情况下都适用)。目前，我正在这样做:

soup=BeautifulSoup(theDocument)

try:
   tables = soup.find(text=re.compile("Pursuant to the requirements of Section 13")).findNext('table').findNext('table').strings
except AttributeError as e:
   #deal with error, output failed URL to file

使用这段代码，我找到了大约 70% 搜索的表格，但有些只是抛出错误。例如，this document是找不到该表的其中之一(您可以通过对 re.compile 字符串执行 CTRL+F 来找到文档中的该部分)，但是 this document来自同一家公司并且看起来相同的 HTML 格式会产生积极的结果。

有什么想法吗？

编辑: 可能是一个问题，但还有另一个问题。缩短搜索字符串以不包含仍然会失败。

EDIT2:有时似乎会发生潜在的错误。我尝试打印出 HTML 数据变量并得到以下结果:

<HTML><HEAD>
<TITLE>Access Denied</TITLE>
</HEAD><BODY>
<H1>Access Denied</H1>

You don't have permission to access "http&#58;&#47;&#47;www&#46;sec&#46;gov&#47;Archives&#47;edgar&#47;data&#47;1800&#47;000110465907013496&#47;a07&#45;1583&#95;110k&#46;htm" on this server.<P>
Reference&#32;&#35;18&#46;ee9a1645&#46;1466687980&#46;5cc0b4f
</BODY>
</HTML>

有什么方法可以解决这个问题，同时仍然删除？

编辑2:下面的答案确实解决了我遇到的问题，所以我已将其标记为已回答。也就是说，字符串中存在另一个随机换行符的潜在问题，因此我修改了正则表达式以检查所有单词之间的“\s+”而不仅仅是空格。 如果您遇到这样的问题，请务必检查 HTML 代码是否存在此错误。

最佳答案

问题出在 Section 和 13 之间的 :

<font size="2">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Pursuant to the requirements of Section&nbsp;13 or 15(d) of the Securities Exchange Act of 1934, Abbott Laboratories has duly caused
this report to be signed on its behalf by the undersigned, thereunto duly authorized. </font>

我会使用 searching function和 replace the   with a regular space检查 .text 属性时:

import requests
from bs4 import BeautifulSoup


# url = "https://www.sec.gov/Archives/edgar/data/1800/000110465907013496/a07-1583_110k.htm"
url = "https://www.sec.gov/Archives/edgar/data/1800/000104746916010246/a2227279z10-k.htm"
response = requests.get(url, headers={
    "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36"
})

data = response.text
soup = BeautifulSoup(data, "lxml")

text_to_search = "Pursuant to the requirements of Section 13"
p = soup.find(lambda elm: elm.name == "p" and elm.text and text_to_search in elm.text.replace(u'\xa0', ' '))
tables = p.findNext('table').findNext('table').strings

关于python - BeautifulSoup table 抓取只是有时会抓取，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/37975348/

24

4

0

文章推荐： javascript - 邮政编码到城市自动完成

文章推荐： jquery - 将 jQuery 从 1.3.2 和 1.4.2 升级到 1.5.1

文章推荐： javascript - json_encoding 一个数组，但输出为字符串

文章推荐： jquery - 用于点击链接的 Greasemonkey Jquery 脚本

beautifulsoup - BeautifulSoup 。如何获取包含特定单词的链接？
HTML 在 div 中包含字符串: 'div class="slide"' 'img src="xttps://site.com/files/r_1000,kljg894/43k5j/35h43jk
beautifulsoup - 使用 BeautifulSoup 从属性中提取 href
我用这个方法 allcity = dom.body.findAll(attrs={'id' : re.compile("\d{1,2}")}) 返回这样的列表: [掳虏驴碌路驴碌脴虏煤脨脜脧垄脥酶隆
beautifulsoup - 安装了 BeautifulSoup 但仍然没有得到名为 bs4 的模块
我正在使用 Jupyter 笔记本、Python 3.5 和虚拟环境。在我的虚拟环境中，我做了: (venv) > pip install BeautifulSoup4 这似乎运行良好 b/c 终端
python - 当我不使用 BeautifulSoup 时如何摆脱 BeautifulSoup html 解析器错误
我打算用 GUI 制作一个字典程序，但我在第一个障碍上就失败了。我刚刚安装了一个模块( PyDictionary )，但是当我运行以下代码时出现错误。 from PyDictionary import
python - Beautifulsoup 与 lxml vs Beautifulsoup 3
我正在将一些解析器从 BeautifulSoup3 迁移到 BeautifulSoup4，我认为考虑到 lxml 非常快并且它是我在 BS4 中使用的解析器，分析它会变得多快是个好主意，这里是分析结果
python - 来自 : can't read/var/mail/BeautifulSoup 的 BS4 和 BeautifulSoup 错误
这个问题在这里已经有了答案: Getting Python error "from: can't read /var/mail/Bio" (6 个答案) 关闭 11 个月前。 From Beauti
python - 从大文件中剥离 html 比 BeautifulSoup 更快/更少的资源破坏方式？或者，使用 BeautifulSoup 的更好方法？
目前我无法输入这个，因为根据 top，我的处理器是 100%，我的内存是 85.7%，都被 python 占用了。为什么？因为我让它通过一个 250 兆的文件来删除标记。 250兆，就是这样!我一直
Python Beautifulsoup : file. write(str) 方法获取 TypeError : write() argument must be str, 不是 BeautifulSoup
我写了下面的代码: from bs4 import BeautifulSoup import sys # where is the sys module in the source code fold
What causes `None` results from BeautifulSoup functions? How can I avoid "AttributeError: 'NoneType' object has no attribute..." with BeautifulSoup?(是什么原因导致了BeautifulSoup函数的`None‘结果？如何避免“AttributeError：‘NoneType’对象没有属性...”配上美人汤？)
通常，当我尝试使用BeautifulSoup解析网页时，BeautifulSoup函数会得到NONE结果，否则就会引发AttributeError。。以下是一些独立的(即，由于数据是硬编码的，不需要访
What causes `None` results from BeautifulSoup functions? How can I avoid "AttributeError: 'NoneType' object has no attribute..." with BeautifulSoup?(是什么原因导致了BeautifulSoup函数的`None‘结果？如何避免“AttributeError：‘NoneType’对象没有属性...”配上美人汤？)
通常，当我尝试使用BeautifulSoup解析网页时，BeautifulSoup函数会得到NONE结果，否则就会引发AttributeError。。以下是一些独立的(即，由于数据是硬编码的，不需要访
BeautifulSoup 嵌套类选择器
我正在为一个项目使用 BeautifulSoup。这是我的 HTML 结构 John Sam Bailey Jack
beautifulsoup - 从外部文件中删除多余的垃圾字符
这段代码正确地从我的博客中提取了马拉地语文本。我很欣赏使用漂亮的汤和正则表达式是多么容易。 from bs4 import BeautifulSoup import requests, re url
用于HTML解析的Python正则表达式(BeautifulSoup)
我想获取 HTML 中隐藏输入字段的值。我想用 Python 编写一个正则表达式，它将返回 fooId 的值，前提是我知道 HTML 中的行遵循以下格式有人可以提供一个 Python 示例来解
BeautifulSoup(bs4)细致讲解
BeautifulSoup(bs4) BeautifulSoup是python的一个库,最主要的功能是从网页爬取数据,官方是这样解释的:BeautifulSoup提供一些简单,python式函
Python Beautifulsoup 获取标签下的文字
我正在尝试获取特定月份的所有链接、标题和日期，例如网站上的三月，我正在使用 BeautifulSoup 这样做: from bs4 import BeautifulSoup import reques
python - Beautifulsoup 使用下一个按钮分页
我正试图通过此链接收集有关 2020 年世界上收入最高的运动员收入的信息 https://www.forbes.com/profile/roger-federer/?list=athletes这是第一
python - BeautifulSoup - 捕获特定类或文本的所有链接
我正在尝试从带有美丽汤的网页中捕获所有相关链接。我需要的所有链接都有 class="btn btn-gray"还有文字 More Info<> 仅提取这些链接的最佳方法是什么？最佳答案这个怎么样？
python - Beautifulsoup 带有下拉菜单的网页抓取网站
我正在尝试抓取一个具有下拉菜单的站点，用户可以在其中选择要显示的数据的年份。但是，我似乎被困在我的实现中。这是网站网址:https://www.pgatour.com/tournaments/mas
python - Beautifulsoup 网络爬虫问题
我正在使用 BeautifulSoup 和 mechanise 从网页中查找一些内容。问题是有时找不到我正在寻找的字符串。我不知道有什么问题对于许多网页，它可以正常工作数月，但突然停止工作。然后我必
python - BeautifulSoup 解析返回空集
( 更新代码就在下面) 我有一个类:UrlData , 生成一个 url 列表: for url in urls: rawMechSiteInfo = mech.open(url) #me

首页

博学

6Ren·AI

商城

python - BeautifulSoup table 抓取只是有时会抓取