python - 并行读取大文件？

Question

我有一个大文件，我需要从中读取并制作字典。我希望这尽可能快。但是我在 python 中的代码太慢了。这是一个显示问题的最小示例。

先做一些假数据

paste <(seq 20000000) <(seq 2 20000001)  > largefile.txt

现在这是一段最小的 Python 代码，用于读取它并制作字典。

import sys
from collections import defaultdict
fin = open(sys.argv[1])

dict = defaultdict(list)

for line in fin:
    parts = line.split()
    dict[parts[0]].append(parts[1])

时间安排:

time ./read.py largefile.txt
real    0m55.746s

但是可以更快地读取整个文件:

time cut -f1 largefile.txt > /dev/null    
real    0m1.702s

My CPU has 8 cores, is it possible to parallelize this program in python to speed it up?

一种可能是读取输入的大块，然后在不同的非重叠子 block 上并行运行 8 个进程，从内存中的数据并行创建字典，然后读取另一个大块。这在 python 中是否可能以某种方式使用多处理？

更新。假数据不是很好，因为每个键只有一个值。更好的是

perl -E 'say int rand 1e7, $", int rand 1e4 for 1 .. 1e7' > largefile.txt

(与 Read in large file and make dictionary 相关。)

Answer 1

也许可以将其并行化以加快速度，但并行执行多个读取不太可能有帮助。

您的操作系统不太可能有效地并行执行多次读取(异常(exception)情况是像 strip 化 RAID 阵列，在这种情况下，您仍然需要知道步幅才能充分利用它)。

您可以做的是在读取的同时运行相对昂贵的字符串/字典/列表操作。

因此，一个线程读取(大) block 并将其推送到同步队列，一个或多个消费者线程从队列中拉取 block ，将它们分成行，然后填充字典。

(如果您使用多个消费者线程，正如 Pappnese 所说，请为每个线程构建一个字典，然后加入它们)。

---

提示:

• ... 将 block 推送到 synchronized queue ...
• ...一个或多个消费者threads ...

---

回复。赏金:

C 显然没有 GIL 可抗衡，因此多个消费者可能会更好地扩展。读取行为并没有改变。不利的一面是 C 缺乏对 HashMap (假设您仍然需要 Python 样式的字典)和同步队列的内置支持，因此您必须找到合适的组件或编写自己的组件。多个消费者各自构建自己的字典然后最后合并它们的基本策略仍然可能是最好的。

使用 strtok_r 而不是 str.split 可能会更快，但请记住，您还需要手动管理所有字符串的内存。哦，你也需要逻辑来管理行片段。老实说，C 为您提供了很多选择，我认为您只需要对其进行分析并查看即可。