- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我遇到了 Camelot 库的问题
我正在从 PDF 中提取数据,我的代码在前 23 页上运行“正常”,但对于这种情况,它无法解析文本/表格结尾
我想问题是字符串太长到达表格边界
也试过“stream”但结果最差
PDF 源数据
PDF 输出布局
我解析的输出是这样的
"ALT4945\n24 V"
"70\/140 A ALT5860\n12 V\n90 A"
期望的输出应该是
"ALT4945\n24 V 70\/140 A"
"ALT5860\n12 V\n90 A"
我的第一个对上一页正确工作的代码是
tables = camelot.read_pdf("CROSSREFERENCE.pdf", pages=wPAGES, flavor="lattice")
来自网站 Camelot Doc https://camelot-py.readthedocs.io/en/master/api.html我在 pdf 解析器上得到了那个可能的配置。
"" PARAMS for lattice
line_scale (default: 15)
copy_text ((default: None))
shift_text (default: ['l', 't'])
line_tol (default: 2)
joint_tol (default: 2)
threshold_blocksize (default: 15)
threshold_constant (default: -2)
iterations (default: 0)
resolution (default: 300)
"""
然后我遇到了那个问题,试图用更多的参数来解决“玩”,但没有找到赢家
tables = camelot.read_pdf("CROSSREFERENCE.pdf", pages=wPAGES, flavor="lattice", split_text=True, resolution=720, line_scale=250, line_tol=3, joint_tol=3, threshold_blocksize=15)
tables = camelot.read_pdf("CROSSREFERENCE.pdf", pages=wPAGES, flavor="lattice", split_text=True, resolution=720, line_scale=250, line_tol=1, joint_tol=1, threshold_blocksize=3)
我能得到一些关于参数的建议来避免这种情况吗??
谢谢
编辑1:PDF 来源:https://www.siom.it/images/catalogo-motorini-alter.pdf(第24页)
最佳答案
tables = camelot.read_pdf('./catalogo-motorini-alter.pdf', pages='24',
flavor='stream', columns=['300'], split_text=True)
tables[0].df
的输出如下:
0 1
0 CATALOGO SIOM ALTERNATORI BOSCH \nBOSCH \nBOSCH \nBOSCH
1 ALT4800\n12 V\n65A ALT4830\n12 V\n70 A
2 IMPIANTO : BOSCH\nCOD.OEM : 0120489186 IMPIANTO : BOSCH\nCOD.OEM : 0120488172
3 APPLICAZIONI :\n OPEL VAUXHALL APPLICAZIONI :\n OPEL VAUXHALL
4 ALT4840\n12 V\n70 A ALT4890\n12 V\n90 A
5 IMPIANTO : BOSCH\nCOD.OEM : 0120488186 IMPIANTO : BOSCH\nCOD.OEM : 0123315500
6 APPLICAZIONI :\n OPEL VAUXHALL APPLICAZIONI :\n IVECO
7 ALT4900\n12 V\n90 A ALT4940\n24 V\n70/140 A
8 IMPIANTO : BOSCH\nCOD.OEM : 0123320009 IMPIANTO : BOSCH\nCOD.OEM : 0120689535
9 APPLICAZIONI :\n AUDI SKODA VW APPLICAZIONI :\n DROGMOLLER KASSBOHRER MERCEDE...
10 ALT4945\n24 V\n70/140 A ALT5860\n12 V\n90 A
11 IMPIANTO : BOSCH\nCOD.OEM : 0120689541 IMPIANTO : BOSCH\nCOD.OEM : 0120450011
12 APPLICAZIONI :\n MAN MERCEDES BENZ APPLICAZIONI :\n CHRYSLER
13 ALT6600\n12 V\n90 A ALT6610\n24 V\n80 A
14 IMPIANTO : BOSCH\nCOD.OEM : 0124325058 IMPIANTO : BOSCH\nCOD.OEM : 0124555001
15 APPLICAZIONI :\n FIAT LANCIA APPLICAZIONI :\n MERCEDES BENZ
16 Pag .24
来自docs对于共享文档,stream
解析器似乎比 lattice
更适合:
Stream
can be used to parse tables that have whitespaces between cellsto simulate a table structure.
对于 stream
解析器发现不正确的列分隔符的情况,您可以在 columns
参数 ( details ) 中手动指定它们。然后 split_text
选项 says用这些列拆分文本:)
尽管fpbhb在评论中批评 抓取 PDF,我对你的具体情况相当乐观。您共享的文档结构合理。所以我肯定会尝试解析它。但是点fpbhb仍然正确,它是启发式的。因此,需要采取额外的预防措施。
我建议你使用regular expressions测试你从 camelot
得到了什么。
您可以使用以下代码作为起点:
import re
import logging
def test_tables(tables):
# headers
HEADER_L = re.compile('^CATALOGO SIOM ALTERNATORI$')
HEADER_R = re.compile('^BOSCH \nBOSCH \nBOSCH \nBOSCH$')
# main cell rows
CELL_ROWS = [
re.compile('^ALT\d{4,6}?\n(12|14|24|28) ?V\n\d{2,3}(/\d{2,3})? ?A$'),
re.compile('^IMPIANTO : .*?\nCOD.OEM : [\dA]{9,10}$'),
re.compile('^APPLICAZIONI :(\n[A-Z \.-]*)?$')
]
# bottom line should be Pag.##
PAGE = re.compile('^Pag.\d{1,3}$')
for ti, table in enumerate(tables):
rows = table.df.to_numpy()
# test headers
if not HEADER_L.match(rows[0, 0]):
logging.warning('tables[{}].df.iloc[0][0]: HEADER_L != {}'.format(ti, rows[0, 0]))
if not HEADER_R.match(rows[0, 1]):
logging.warning('tables[{}].df.iloc[0][1]: HEADER_R != {}'.format(ti, rows[0, 1]))
# test bottom line
page_str = ''.join(rows[-1])
if not PAGE.match(page_str):
logging.warning('tables[{}].df.iloc[-1]: PAGE != {}'.format(ti, page_str))
# test cells
for idx, row in enumerate(rows[1:-1]):
row_idx = idx % 3
pattern = CELL_ROWS[row_idx]
if not pattern.match(row[0]):
logging.warning('tables[{}].df.iloc[{}][0]: ROW {} != {}'.format(ti, idx+1, row_idx, row[0]))
if not pattern.match(row[1]):
logging.warning('tables[{}].df.iloc[{}][1]: ROW {} != {}'.format(ti, idx+1, row_idx, row[1]))
pages_till_24 = ','.join([str(i) for i in range(1,25)])
tables = camelot.read_pdf('./catalogo-motorini-alter.pdf', pages=pages_till_24,
flavor='stream', columns=['300'], split_text=True)
test_tables(tables)
它只给出一个无关紧要的警告(额外的空格)
WARNING:root:tables[8].df.iloc[7][1]: ROW 0 != ALT122300
12 V
45 A
好吧,看来你可以高兴了,因为它似乎可以工作,而且你有代码来测试其他页面。祝你好运:)
关于python - Camelot Pdf 提取失败解析,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/58837504/
我的代码有一些问题。我正在尝试遍历包含许多 PDF 的 Drive 文件夹,然后将它们合并为一个文件。当我使用我的代码时,它只是为 Drive 文件夹中的最后一个 PDF 创建一个 PDF,而不是按预
我从 PDF Specification 获取了 PDF 规范中的最小 PDF 示例。 ,将其复制到记事本,将文件重命名为扩展名为 .pdf。 我可以用其他 PDF 查看器(PDF-XChange、S
感谢您在以下方面的帮助: 我有 2 个部分可访问的 PDF(包含标签),我想使用一些命令行工具(如 PDFtk 或 Ghostscript,或任何 Perl 模块)将它们连接起来: 我已经尝试使用 P
我想使用 ghostscript 将矢量 pdf 转换为光栅 pdf(即光栅化矢量 pdf)。但是即使我添加了解析参数 -r300,我也找不到合适的参数来执行此操作。 我使用的代码是-dSAFER -
我无法在 FAQ 中找到这个功能是否存在于 API 中,尽管它在书中提到作为潜在可用的东西。有没有人有任何实现此功能的经验? 最佳答案 在 This thread (日期为 2007 年 6 月)Pa
我要放文件sample.pdf在我的网站上,并希望使用 pdf.js 显示它.我想要的是显示我自己的文件,如 demo ,带有工具栏,放大/缩小等。到目前为止,我还不能这样做。 我确实检查了 hell
我知道这可能不是严格意义上的编程问题(也许是,我不知道)但我在尝试转换常规 pdf(带有超链接、书签、图像、嵌入字体等)时遇到了严重问题.) 转换为 PDF/A-1 格式。 当我用 pdfaPilot
这是 PDF.js 网站 https://github.com/mozilla/pdf.js 我正在搜索和阅读很多文章,大多数编码都是将 pdf 导入 pdf.js 并在浏览器上显示,我不明白是不是
谁能建议我如何将扫描图像转换为可搜索图像或如何将扫描 pdf 转换为可搜索 pdf? 很长一段时间以来,我一直陷入这种情况。 我已经在 ubuntu 中尝试过 pdfocr 应用程序,但没有成功。 最
作为我对客户端/服务器 pdf 签名研究的一部分,我测试了 itext pdf 延迟签名示例。不幸的是,我生成的 pdf 即合并空签名 pdf 和哈希值的输出显示无效签名。 我的代码片段如下 cla
我想将一个 PDF 页面插入到另一个已缩放的 PDF 页面中。我想使用 iTextSharp 来实现此目的。 我有一个矢量绘图,可以导出为单页 PDF 文件。我想将此文件添加到其他 PDF 文档的页面
作为我对客户端/服务器 pdf 签名研究的一部分,我测试了 itext pdf 延迟签名示例。不幸的是,我生成的 pdf 即合并空签名 pdf 和哈希值的输出显示无效签名。 我的代码片段如下 cla
我想为 Kindle 转换电子书。我尝试使用 Calibre 将具有复杂格式样式和图像的基于两种语言的基于文本的大型 PDF 电子书转换为适用于 Kindle 的 AZW3 电子书,并且还尝试了亚马逊
我在 Google Chrome 中显示 pdf 时遇到问题。问题是 Chrome 将 pdf 的某些页面显示为黑色。 启用 Chrome PDF 查看器时会发生这种情况。如果我禁用此插件并使用 Ad
我确信这个问题无处不在,尽管我似乎找不到答案。我希望我的 PDF 文档在 PDF 阅读器中显示时没有空白页,但随后在封面后打印空白页,这样打印出来的文档在右侧甚至左侧都有奇数页。还有其他人遇到过这个问
我需要自动裁剪 pdf 文件(去除白边)。到目前为止,我尝试了两种并不完美的工具: pdf裁剪 问题:它不会裁剪某些 pdf。 pdf-crop-margins 问题:有时它裁剪得太多(精细的细节)。
This PDF由几个源文件组成。其中五个是包含 alpha channel 的 PNG。一种是没有 alpha channel 的 PNG。最后一 block 是带有透明效果的 Photoshop
我的团队将内部 wiki 页面用于各种内容。这些页面是使用 MediaWiki 创建的。我想知道是否有任何方法可以将 wiki 页面转换为 PDF 格式。我必须用它来将用户文档转换为 PDF 格式,以
我希望能够从我可能在数据库或 xml 或任何其他结构化形式中拥有的数据生成高度图形化(也包含大量文本内容)的 PDF 文件。 目前,我们的平面设计师在将内容作为 MS Word 文档后,在 Photo
我正在寻找可以帮助我找到重复 PDF 的实用程序。问题:我有 1000 个 PDF 文件。有些是重复的。由于不同的文件名和文件大小的微小差异,它们不容易被检测到。是否有实用程序/算法/库可以帮助我找到
我是一名优秀的程序员,十分优秀!