python - Python 中的并行处理问题

Question

我有一个 python 脚本 A.py，它使用带有一些 IP 列表 的目标文件作为参数，并输出一个 CSV 文件从某些来源找到有关 IP 的信息。(运行方法:python A.py Input.txt -c Output.csv)。

完成这项工作需要很长时间。后来，我拆分输入文件 ( split -l 1000 Input.txt) -> 创建目录( 10 目录) -> 执行脚本，将输入并行拆分为 10 个目录在屏幕模式下

如何高效地完成这类工作？有什么建议吗？

Answer 1

试试这个:

parallel --round --pipepart -a Input.txt --cat python A.py {} -c {#}.csv

如果 A.py 可以从 fifo 中读取，那么这会更有效:

parallel --round --pipepart -a Input.txt --fifo python A.py {} -c {#}.csv

如果您的磁盘有很长的寻道时间，那么使用 --pipe 代替 --pipepart 可能会更快。