python - 如何使用 Tika 将 PDF 拆分为段落

Question

我有一个 PDF 文档，目前正在使用 Tika-Python 解析该文档。我想将文档分成几个段落。

我的想法是将文档分成段落，然后使用 isspace() 函数创建段落列表

我还尝试使用 \n\n 进行拆分，但没有任何效果。

这是我当前的代码:

file_data = (parser.from_file('/Users/graziellademartino/Desktop/UNIBA/Research Project/UK cases/file1.pdf'))
file_data_content = file_data['content']

paragraph = ''
for line in file_data_content:
    if line.isspace():  
        if paragraph:
            yield paragraph
            paragraph = ''
        else:
            continue
    else:
        paragraph += ' ' + line.strip()
yield paragraph

Answer 1

我无法确定 file_data_content 现在是什么样子，因为我不知道您使用什么来处理 PDF 数据以及它返回什么。但是，如果它返回一个基本字符串，例如 Line1\nLine2\netc.，则以下内容应该有效。当你说:

for line in file_data_content:

和 file_data_content 是一个字符串，您正在逐个字符而不是逐行处理字符串，这显然是一个问题。因此，您需要将文本拆分为行列表并处理该列表的每个元素:

def create_paragraphs(file_data_content):
    lines = file_data_content.splitlines(True)
    paragraph = []
    for line in lines:
        if line.isspace():
            if paragraph:
                yield ''.join(paragraph)
                paragraph = []
        else:
            paragraph.append(line)
    if paragraph:
        yield ''.join(paragraph)

text="""Line1
Line2

Line3
Line4


Line5"""

print(list(create_paragraphs(text)))

打印:

['Line1\nLine2\n', 'Line3\nLine4\n', 'Line5']