python - 使用 python 遍历大型字典(超过 20 亿个条目)

Question

我是 python 的新手，我想遍历一个包含大约 20 亿个条目的字典。使用:

for key,value in edge_dict.items():

但是我得到了内存不足异常，因为它似乎试图加载整个东西然后循环遍历它们。我在一些琐碎的事情上遇到了这个问题，比如:

for i in range (2000000000)

但我可以很容易地用

代替它们

while (i < 2000000000):
    i++ 

解决了这个问题。但是，对于字典，我不知道如何在不使用 for-in 迭代器的情况下遍历键。 (请注意，键是字符串，值是整数)。

Answer 1

for key,value in edge_dict.iteritems():

我觉得是你想要的

同样如果

for i in range (2000000000)

导致内存错误你可以使用迭代器

for i in xrange(2000000000)

迭代器(和/或生成器)一次只加载一个项目并在迭代时被消耗......这解决了内存中的大列表可能遇到的许多问题