python - 使用 DictReader 节省内存开销

Question

我使用csv.DictReader从 CSV 文件读取数据。当读取器被迭代时，它会生成带有从 CSV header 获取的键和每行值的字典:

with open(filename) as h:
    data = csv.DictReader(h)
    for row in data:
        # row is dict

每一行都是一个字典，其中包含 keys ，并且每一行都有完全相同的键。如果值是整数并且键(字符串)很长，则键比值占用更多的内存空间。

我可以以每行的键都指向同一个键实例的方式迭代行，从而节省每行的内存空间吗？

请注意，我事先并不知道 key - 它们是从 CSV header 中获取的。否则我可以使用 namedtuple或__slots__

Answer 1

您可以使用namedtuple；自己从第一行开始构建:

with open(filename, 'rb') as h:
    data = csv.reader(h)
    headers = next(data)
    RowTuple = namedtuple('RowTuple', headers)
    for row in data:
        row = RowTuple(row)

这本质上就是 DictReader() 的作用；从第一行取出 key 。

请注意，DictReader() 代码使用 dict(zip(self.fieldnames, row)) 创建字典；这为每行重复使用相同的字符串，唯一的内存开销是dict表本身加上键的哈希值(每次都会重新计算并缓存)。不会为每行重新创建键的字符串。 namedtuple 方法也不需要，但不需要保留哈希值，因为使用了 __slots__。