java - 用于存储来自文件输入 Java 的动态大小的 block 的最佳数据结构

Question

我正在开发一个 Java 程序，我正在从动态的、未知的 block 中的文件中读取数据。也就是说，每个数据 block 的大小并不总是相同，并且大小是在读取数据时确定的。对于 I/O，我使用 MappedByteBuffer(文件输入约为 MB)。

我的目标:

• 找到一种有效的方法来在输入阶段存储每个完整的 block ，以便我可以对其进行处理。

我的限制:

• 我一次从缓冲区读取一个字节
• 我的处理方法采用原始字节数组作为输入
• 每个 block 都会在读取下一个 block 之前被处理

我尝试过的:

• 我尝试过像列表这样的动态结构，但它们没有支持数组，而且到原始数组的转换时间让我很担心
• 我也想过用String来存储每个 block ，然后用getBytes()来获取byte[]，但是太慢了
• 多次读取文件，先找到 block 大小，然后抓取相关字节

我正在尝试寻找一种不会违背快速 I/O 目的的方法。任何建议将不胜感激。

其他信息:

• 我使用滚动哈希来决定 block 应该在哪里结束

这里有一些伪代码:

circular_buffer[] = read first 128 bytes
rolling_hash = hash(buffer[])
block_storage = ??? // this is the data structure I'd like to use
while file has more text
    b = next byte
    add b to block_storage
    add b to next index in circular_buffer (if reached end, start adding/overwriting front)
    shift rolling_hash one byte to the right
    if hash has a certain characteristic
        process block_storage as a byte[] //should contain entire block of data

如您所见，我一次读取一个字节，并重复存储/覆盖该一个字节。但是，一旦进入处理阶段，我希望能够访问 block 中的所有信息。 block 也没有预先确定的最大大小，因此我无法预分配。

Answer 1

在我看来，您需要一个动态增长的缓冲区。您可以使用内置的 BytaArrayOutputStream为了实现这一点。它会自动增长以存储写入其中的所有数据。您可以使用write(int b)和 toByteArray()实现将b添加到block_storage并将block_storage作为byte[]处理。

但是要小心 - 该流将无限增长。您应该围绕它实现一些健全性检查，以避免耗尽所有内存(例如，计算写入其中的字节数，并在超过合理数量时通过抛出异常来中断)。还要确保在消耗 block 后关闭并丢弃对流的引用，以允许 GC 释放内存。

编辑:正如@marcman指出的，缓冲区可以是 reset() .