java - 处理带有时间戳的百万行文件的最快方法

Question

所以我得到了这些巨大的文本文件，每行都填充了一个逗号分隔的记录。我需要一种方法来逐行处理文件，删除满足特定条件的行。有些删除很容易，例如其中一个字段小于特定长度。最难的标准是这些行都有时间戳。许多记录除了时间戳之外都是相同的，我必须删除所有记录，但一条相同且彼此相差在 15 秒内的记录除外。

所以我想知道其他人是否可以为此提出最佳方法。我确实用 Java 编写了一个小程序来完成这个任务，使用 JodaTime 作为时间戳，这使得它非常容易。然而，我最初编写程序的方法遇到了内存不足堆空间错误。我对代码进行了一些重构，大部分看起来都不错，但我仍然相信它存在一些内存问题，因为偶尔程序似乎会挂起。这似乎花费了太长的时间。我不确定这是内存泄漏问题、编码问题还是其他问题。是的，我尝试显着增加堆大小，但仍然遇到问题。

我会说该程序需要使用 Perl 或 Java 语言。我也许也可以让 python 脚本工作，但我对 python 不太熟悉。正如我所说，由于 JodaTime 库，时间戳的东西在 Java 中(对我来说)是最简单的。我不确定如何在 Perl 中完成时间戳工作。但我愿意学习和使用最有效的方法。

我还将添加正在读取的文件大小差异很大，但有些大文件约为 100Mb，包含 130 万条记录。

我的代码本质上是读取所有记录并将它们放入 HashMap 中，其中键是类似记录将共享的记录中的数据的特定子集。因此，记录的子集不包括时间戳，这会有所不同。这样，您最终会得到一些具有相同数据但发生在不同时间的记录。 (所以完全相同，减去时间戳)。

每个键的值是具有相同数据子集的所有记录的集合。然后我简单地迭代 Hashmap，获取每个集合并迭代它。我获取第一个记录并将其时间与其他所有记录进行比较，看看它们是否在 15 秒之内。如果是这样，该记录将被删除。一旦该组完成，它就会被写到一个文件中，直到所有记录都完成为止。希望这是有道理的。

这可行，但显然我这样做的方式太占用内存了。有人对更好的方法有什么想法吗？或者，我可以在 Perl 中执行此操作的方法实际上会很好，因为尝试将 Java 程序插入到当前实现中会导致许多其他令人头痛的问题。尽管这可能只是因为我的内存问题和糟糕的编码。

最后，我并不是要求别人为我编写程序。伪代码没问题。不过，如果您对 Perl 有想法，我可以使用更多细节。我不确定如何在 Perl 中做的主要事情是时间比较的事情。我对 Perl 库进行了一些研究，但还没有看到像 JodaTime 这样的东西(尽管我没有看太多)。任何想法或建议表示赞赏。谢谢。

Answer 1

读取所有行并不理想，因为您需要将全部行存储在内存中。

相反，您可以逐行阅读，写出您想要保留的记录。您可以保留之前访问过的行的缓存，限制在当前程序的 15 秒内。在非常粗略的伪代码中，对于您读到的每一行:

var line = ReadLine()
DiscardAnythingInCacheOlderThan(line.Date().Minus(15 seconds);
if (!cache.ContainsSomethingMatchingCriteria()) {
   // it's a line we want to keep
   WriteLine(line);
}

UpdateCache(line);  // make sure we store this line so we don't write it out again.

正如所指出的，这假设这些行是按时间戳顺序排列的。如果不是，那么我只需使用 UNIX sort 来实现它们，因为这样可以轻松处理非常大的文件。