perl - perl中读取大日志文件的方法及其比较

Question

我有一个巨大的日志文件(大约 5-10 百万行)。我需要遍历每一行并进行处理。我看到了巨大的运行时间。

我知道perl 中有两种读取文件的方法。如下图所示。

(1) 如何比较不同方法的性能？任何基准机制？

(2) 什么是最有效的方法，为什么？有没有第三种更好的方法可用？

一种选择是实现这两种方法并检查运行时。但在这里我试图了解是什么让他们跑得更快或更慢。如果您能在这方面帮助我，将不胜感激。

方法一

open FOPEN, '<', $file or die $!;
my @lines = <FOPEN>;
chomp @lines;
foreach (@lines) {
    # do something on $_
}

方法二

open FOPEN, '<', $file or die $!;
while (<FOPEN>) {
    chomp;
    # do something on $_
}

Answer 1

方法2绝对是要走的路。方法 1 会将整个文件复制到内存中(在变量 @lines 内)。如果您的日志文件大于 1 GB，预计您的程序会崩溃。方法 2 将逐行遍历文件，并保持近乎恒定的内存使用量。

希望这可以帮助。

编辑:(忘了谈论基准测试部分)

您可以使用像 Benchmark 这样的模块比较两种方法在多次迭代中的性能。一个非常方便的工具。您会发现方法 2 在处理非常大的文件时比方法 1 的性能要好很多。