python - Pandas 将文件行作为一列读取

Question

我有一个文本文件语料库(多个 txt 文件)，每个文件的结构如下:

TITLE: some title
URL: some url
META: some meta
DATE: some date
AUTHOR(S): author
TEXT: some text

如何读取文件，以便我有一个包含列(标题、url、...、文本)的数据框？谢谢!

Answer 1

您可以使用re库来解析文本，例如(regex101):

import re
import pandas as pd

df = pd.DataFrame(
    [
        dict(
            re.findall(
                r"^([A-Z][^:]+):\s*(.*?)\s*?(?=^[A-Z][^:]+:|\Z)",
                open("your_file.txt", "r").read(),
                flags=re.S | re.M,
            )
        )
    ]
)
print(df)

打印:

        TITLE       URL       META       DATE AUTHOR(S)       TEXT
0  some title  some url  some meta  some date    author  some text