python - 使用Python从txt文件中删除副文本(或 'noise')

Question

我正在准备一个文本文件语料库，其中包含 170 部荷兰小说。我是一名文学学者，对 Python 以及一般编程也比较陌生。我想做的是编写一个 Python 脚本，用于删除每个 .txt 文件中不属于小说实际内容(即故事)的所有内容。我想要删除的内容是:添加的作者传记、简介以及将 ePub 转换为 .txt 时附带的其他信息。

我的想法是手动决定每个 .txt 文件小说的实际内容在哪一行开始和结束。我使用以下代码块来删除 .txt 文件中不包含在这两个行号之间的所有信息:

def removeparatext(inputFilename, outputFilename):
    inputfile = open(inputFilename,'rt', encoding='utf-8')
    outputfile = open(outputFilename, 'w', encoding='utf-8')

    for line_number, line in enumerate(inputfile, 1):
        if line_number >= 80 and line_number <= 2741: 
            outputfile.write(inputfile.readline())

    inputfile.close()
    outputfile.close()

removeparatext(inputFilename, outputFilename)

数字 80 和 2741 是一本特定小说的实际内容的开始和结束编号。但是，输出文件仅输出一个 .txt 文件，其中删除了第 80 行之前的文本，它仍然包含第 2741 行之后的所有内容。我似乎不明白为什么。也许我没有以正确的方式使用 enumerate() 函数。

另一件事是我想删除 .txt 文件中所有不必要的空格。但是当我在这段代码中实现 .strip() 方法时，它似乎不起作用。

有人可以给我一个关于如何解决这个问题的建议吗？非常感谢!

Answer 1

enumerate 已经提供了 line 及其索引，因此您不需要再次在文件对象上调用 readline，因为这会导致不可预测的行为 - 更像以双倍速度读取文件对象:

for line_number, line in enumerate(inputfile, 1):
    if line_number >= 80 and line_number <= 2741: 
        outputfile.write(line)
#                        ^^^^

<小时/>

作为使用enumerate和迭代整个文件的替代方法，您可以考虑使用itertools.islice切片文件对象。它获取开始和停止索引，然后使用 writelines 将切片序列写入输出文件:

from itertools import islice

def removeparatext(inputFilename, outputFilename):
    inputfile = open(inputFilename,'rt', encoding='utf-8')
    outputfile = open(outputFilename, 'w', encoding='utf-8')

    # use writelines to write sliced sequence of lines 
    outputfile.writelines(islice(inputfile, 79, 2741)) # indices start from zero

    inputfile.close()
    outputfile.close()

<小时/>

此外，您可以使用上下文管理器with with with 语句打开文件并将关闭/清理工作留给Python。请参阅How to open a file using the open with statement .

from itertools import islice

def removeparatext(inputFilename, outputFilename):
    with open(inputFilename,'rt', encoding='utf-8') as inputfile,\
         open(outputFilename, 'w', encoding='utf-8') as outputfile:    
        # use writelines to write sliced sequence of lines 
        outputfile.writelines(islice(inputfile, 79, 2741))


removeparatext(inputFilename, outputFilename)