java - 在 Java 中读取一个大文件并写入多个(数十、数百或数千)文件？

Question

我有一个很大的小消息文件(压缩后 4-5 GB)，我希望按消息类型将其解析为大约 6,000 个文件。消息很小； 5 到 50 个字节，具体取决于类型。

每条消息都以一个固定大小的类型字段(一个 6 字节的 key )开头。如果我读取类型为“000001”的消息，我想 write 将其有效负载附加到 000001.dat 等。输入文件包含消息的混合；我想要 N 个同类输出文件，其中每个输出文件仅包含给定类型的消息。

什么是 高效 将这些消息写入这么多单独文件的快速方法？我想使用尽可能多的内存和处理能力来尽快完成它。我可以将压缩或未压缩的文件写入磁盘。

我正在考虑使用带有消息类型键和输出流值的散列映射，但我确信有更好的方法来做到这一点。

谢谢!

Answer 1

类 Unix 系统通常对在任何给定时间打开的文件句柄数量有限制；例如，在我的 Linux 上，它当前为 1024，但我可以在合理范围内更改它。但这些限制有充分的理由，因为打开的文件会给系统带来负担。

您还没有回答我的问题，即您的输入中是否多次出现相同的键，这意味着可能需要将几批单独的数据连接到每个文件中。如果不是这种情况，Pace 的回答将是你所能做的最好的，因为所有的工作都需要完成，围绕这样一个简单的事件序列建立一个庞大的管理是没有意义的。

但是如果您的输入中有多个针对同一个键的消息，保持大量文件打开会很有效。不过，我建议不要尝试同时打开所有 6000 个。相反，我会选择像 500 这样的东西，以先到先得的方式开放；也就是说，您为前 500 个(或左右)不同的消息键打开文件，然后仔细检查整个输入文件，寻找要添加到这 500 个中的内容，然后在输入时点击 EOF 将它们全部关闭。您还需要保留已处理的 key 的 HashSet，因为您随后会再次重新读取输入文件，处理下一批您在第一轮没有捕获到的 500 个 key 。

基本原理:打开和关闭文件(通常)是一项代价高昂的操作；如果可以的话，您不想每次都多次打开和关闭数千个文件。因此，您尽可能多地保持打开的句柄，所有这些句柄最终都会在一次输入中被填充。另一方面，通过单个输入文件顺序流式传输非常有效，即使您必须通过输入文件进行 12 次传递，与打开/关闭 6000 个其他文件所需的时间相比，这样做的时间几乎可以忽略不计文件。

伪代码:

processedSet = [ ]
keysWaiting = true
MAXFILE = 500
handlesMap = [ ]
while (keysWaiting) {
  keysWaiting = false
  open/rewind input file
  while (not EOF(input file)) {
    read message
    if (handlesMap.containsKey(messageKey)) {
       write data to handlesMap.get(messageKey)
    } else if (processedSet.contains(messageKey) {
       continue // already processed
    } else if (handlesMap.size < MAXFILE) {
       handlesMap.put(messageKey, new FileOutputStream(messageKey + ".dat")
       processedSet.add(messageKey)
       write data to handlesMap.get(messageKey)
    else
       keysWaiting = true
    endif
  }
  for all handlesMap.values() {
     close file handle
  }
  handlesMap.clear
}