python - 如何提高读取文件程序的运行时性能

Question

我目前正在尝试使用 Python 读取 1.5 亿行(来自包含生物测序信息的数据文件)。目前，它以每秒 20,000 行的速度读取，这大约需要一个半小时。我必须通读其中的 20 个文件。鉴于 Python 是一种非常高级的语言，使用 Java 来读取文件是否更好，或者时间差异是否不足以保证切换到另一种语言？

我目前使用的代码是:

lines_hashed = 0
with open(CUR_FILE) as f:
    for line in f:
       cpg = line.split("\t")
       cpg_dict[cpg[0]] = ....data....
       print lines_hashed
       lined_hashed += 1

打印语句只是为了保证程序不会在任何地方停止。我假设这也会减慢运行时间。有没有办法在没有打印语句的情况下进行检查？

谢谢。

Answer 1

1. 与磁盘读取相比，打印到屏幕的成本更高。如果您必须在执行过程中检查性能，请仅每 1000 行或更多行打印一些内容。
2. 至于使用其他语言，几乎所有语言都会调用操作系统来完成实际工作。