python - 如何从文件中保存数据而不是在 Python 中的变量或列表中？

Question

我需要读取一个大约 5 GB 的文件，并用 Python 编写一个脚本:

cat file | awk -F '","'  '{if ($12 !="" ) print  $9,$10,$12}'| sort -n | uniq -c | sort -nr | head -100

9,10,12 是我想要从该文件中获得的参数。

我可以在 Bash 中毫无问题地做到这一点，并且在带有 os.system 和该命令的 Python 脚本中...但是我需要正确地编写 Python 脚本。

问题是我无法将数据保存在任何列表或变量中，因为要在服务器上运行的脚本由于文件大小而无法使用如此多的 RAM。

我正在考虑将数据写入文件而不是列表，但我还没有找到实现它的方法。

Answer 1

您至少可以使用 python Counter变量

这可以优化三元组的存储和它们出现的次数。

伪脚本:

for line in file.readlines():
    data = line.strip().split(',')
    x = data[colums_that_you_want]
    xtoken = '_'.join(x)
    counter[xtoken] += 1


counter.most_common(100)