java - 对具有内存限制的大文件进行排序 - 外部排序

Question

我已经阅读了很多关于这个想法的文章，并且读到了许多不同的人对此提出的问题。我发现:http://javatroops.blogspot.ca/2012/12/sort-very-large-text-file-on-limited.html我对此有一些疑问。 (抱歉，我不确定链接博客的确切规则以及其他规则)。

我了解外部排序的基础，我将文件分解为临时文件，然后对临时文件的数量执行合并排序。然而，这种方法会因为所有文件而对 I/O 造成压力，不是吗？我可以通过多次 n 路合并来限制一次打开的文件数量，但我希望找到改进。

因此，阅读上面的博客文章后，我了解了解决方案 2 背后的想法，不太了解解决方案 3，但我不了解其在 Java 中的实现。在这两种解决方案中，在文件被分割成临时文件之后，所有文件都被读入 BufferedReaders (关于 bufferedreaders 和 filereaders 的小问题:它只是增加了缓冲并使 I/O 更快，但没有改变从程序员的角度来看可用性？)然后进行映射。这个映射过程不占用内存吗？我很困惑插入 TreeSet 会如何占用内存，但放入 TreeMap 却不会。解决方案 3 到底是如何工作的？

Answer 1

However, this method would stress the I/O wouldn't it because of all the files? I could limit the number of files opened at one time by doing multiple passes of n-way merge, but I wished to find improvements.

使用内存总是会更快，至少快 10 - 1000 倍。这就是我们使用内存的原因，并且通常会尽力确保我们拥有所需的内存。如果您要大量使用 IO，则必须小心访问数据的方式，因为使用 IO 越多，速度就越慢。

is it just that it adds buffering and makes I/O faster but doesn't change usability from a programmer's perspective?)

主要优点是它支持读取行。 (它确实缓冲)

内存映射文件可以减少垃圾和开销，具体取决于它们的使用方式，但你是对的，它不是很清楚。

内存映射文件使用堆外内存，可以更自然地换入换出。问题是它将透明地使用所有可用的空闲内存。 IE。您的堆限制不适用，因此您可以假装您只有 40 MB 的堆，但您不能假装您没有那么多的主内存。

How does Solution 3 work exactly?

我建议你问问作者他到底是什么意思。