java - 在给定内存限制的情况下对具有大量数据的文件进行排序

Question

积分:

• 我们在一天内同时处理数千个平面文件。
• 内存限制是一个主要问题。
• 我们为每个文件进程使用线程。
• 我们不按列排序。文件中的每一行(记录)都被视为一列。

做不到:

• 我们不能使用 unix/linux 的排序命令。
• 我们无法使用任何数据库系统，无论它们多么轻巧。

现在，我们不能只加载集合中的所有内容并使用排序机制。它会耗尽所有内存，程序会出现堆错误。

在这种情况下，您将如何对文件中的记录/行进行排序？

Answer 1

看起来你正在寻找的是 external sorting .

基本上，您首先对小块数据进行排序，将其写回磁盘，然后遍历这些数据以对所有数据进行排序。