Python:分块读取大文件

Question

嘿，我有一个相当大的文件，我想使用 Python 处理它，但我有点不知如何处理。

我的文件格式是这样的:

0 xxx xxxx xxxxx xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
1 xxx xxxx xxxxx xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx

所以我基本上想读取从 0 到 1 的数据 block ，对其进行处理，然后继续读取 1 到 2 之间的数据 block 。

到目前为止，我已经尝试使用正则表达式来匹配数字，然后继续迭代，但我确信必须有更好的方法来解决这个问题。任何建议/信息将不胜感激。

Answer 1

如果它们都在同一行内，那就是“1”之间没有换行符。和“2”。然后你可以像这样遍历文件的行:

for line in open("myfile.txt"):
    #do stuff

该行将在每次迭代时被处理和覆盖，这意味着您可以轻松处理大文件。如果他们不在同一条线上:

for line in open("myfile.txt"):
    if #regex to match start of new string
       parsed_line = line
    else:
       parsed_line += line

以及您的其余代码。