scala - 如何在 Scala 中高效地同时处理 300 多个文件

Question

我将使用 Scala 逐个字节地比较大约 300 个二进制文件，每个文件大小为 4MB。但是，从我已经做过的事情来看，使用 同时处理 15 个文件java.BufferedInputStream 在我的机器上花了我大约 90 秒，所以我认为我的解决方案不能很好地扩展大量文件。

想法和建议受到高度赞赏。

编辑:实际任务不仅仅是比较差异，而是以相同的顺序处理这些文件。假设我必须查看字节 第 在 每个文件同时，继续到 (ith + 1)。

Answer 1

您是否注意到您的硬盘在阅读文件时慢慢蒸发？并行读取多个文件是 不是 机械硬盘驱动器旨在全速执行某些操作。

如果文件总是这么小(4MB 足够小)，我会将整个第一个文件读入内存，然后将每个文件与它依次进行比较。

我无法评论固态驱动器，因为我对它们的性能没有第一手经验。