python记录分隔 rune 件迭代

Question

我有一个非常非常大的文本文件(比内存大得多)。我想做的是使用类似于:

for record in myFile:
 process_record();

添加的技巧是我的记录由空行分隔(中间有各种东西)。例如……

data1 
data2,data3,moredata

anotherrecord,otherstuff
yippee
kaiyay
mom

aThird,record:here

如何在 python 中遍历文件，其中每个循环迭代访问文件中的单个记录？

Answer 1

您可以使用生成器函数来实现:

def records(textfile):
    record_lines = []
    for line in textfile:
        if line != '\n':
            record_lines.append(line)
        else:
            yield ''.join(record_lines)
            record_lines = []
    yield ''.join(record_lines)


for record in records(the_file):
    process(record)