python - 以节省内存的方式在 Python 中从字典创建迭代器

Question

我正在迭代一个非常大的制表符分隔文件(包含数百万行)，并根据该文件中某些字段的值将其不同行配对，例如

mydict = defaultdict()
for line in myfile:
  # Group all lines that have the same field into a list
  mydict[line.field].append(line)

由于“mydict”变得非常大，我想将它变成一个迭代器，这样我就不必将其全部保存在内存中。我怎样才能做到这一点，而不是填充字典，我将创建一个迭代器，我可以循环遍历并获取所有这些具有相同字段值的行列表？

谢谢。

Answer 1

听起来您可能需要一个数据库。您可以选择各种关系型和非关系型数据库(有些比其他数据库更有效，具体取决于您想要实现的目标)，但 sqlite(内置于 python 中)将是最简单的。

或者，如果只有少量的 line.fields 需要处理，您可以多次读取文件。

但是没有真正的 Elixir 。