gpt4 book ai didi

python迭代一个非常大的文件流

转载 作者:太空宇宙 更新时间:2023-11-04 06:02:50 24 4
gpt4 key购买 nike

<分区>

我不是经验丰富的 Python 编码员,所以请保持温和。

我有一个非常大(100 GB)的二进制文件,需要一个特定的命令行工具(这里称为 parseTool)来解析它。 parseTool 的输出格式是简单的原始文本,我正在对其进行一些基本处理(计算值等)。

在我考虑在集群上运行我的代码的多个实例之前,我想确保我做事的效率相当高。

这是我用来迭代 parseTool 输出的内容:

proc = subprocess.Popen(procTool +' myFile.file ',
shell=True,
stdout=subprocess.PIPE)
for line in proc.stdout:
linep=line.split("\t")
#process each line until end of stream

明确地说,我主要关心的是如何有效地迭代 parseTool 的输出。有什么有用的提示吗?

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com