- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时,我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
我真的遇到了麻烦:我想使用 FileChannel
和 MappedByteBuffer
读取超过几个 GB 的巨大文件 - 我发现的所有文档都表明映射相当简单使用 FileChannel.map()
方法的文件。当然,由于所有 Buffer 方法都使用 int 表示位置、限制和容量,因此存在 2GB 的限制 - 但是低于该限制的系统隐含限制又如何呢?
实际上,我遇到了很多关于 OutOfMemoryException
的问题!并且根本没有任何文档真正定义了限制!那么 - 如何将符合 int-limit 的文件安全地映射到一个或多个 MappedByteBuffer
而不会出现异常?
在尝试 FileChannel.map()
之前,我能否询问系统我可以安全地映射文件的哪一部分?如何?为什么有关此功能的文档这么少?
最佳答案
我可以提供一些工作代码。这是否能解决您的问题很难说。这会在文件中寻找 Hunter
识别的模式。
参见优秀文章Java tip: How to read files quickly用于原始研究(不是我的)。
// 4k buffer size.
static final int SIZE = 4 * 1024;
static byte[] buffer = new byte[SIZE];
// Fastest because a FileInputStream has an associated channel.
private static void ScanDataFile(Hunter p, FileInputStream f) throws FileNotFoundException, IOException {
// Use a mapped and buffered stream for best speed.
// See: http://nadeausoftware.com/articles/2008/02/java_tip_how_read_files_quickly
FileChannel ch = f.getChannel();
long red = 0L;
do {
long read = Math.min(Integer.MAX_VALUE, ch.size() - red);
MappedByteBuffer mb = ch.map(FileChannel.MapMode.READ_ONLY, red, read);
int nGet;
while (mb.hasRemaining() && p.ok()) {
nGet = Math.min(mb.remaining(), SIZE);
mb.get(buffer, 0, nGet);
for (int i = 0; i < nGet && p.ok(); i++) {
p.check(buffer[i]);
}
}
red += read;
} while (red < ch.size() && p.ok());
// Finish off.
p.close();
ch.close();
f.close();
}
关于Java NIO MappedByteBuffer OutOfMemoryException,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/20715945/
我有一个 java.nio.MappedByteBuffer,用于从小端文件中读取整数。我使用 ByteBuffer.order() 将字节顺序设置为 LITTLE_ENDIAN,但这会导致缓冲区将整
我很难理解 MappedByteBuffer 的读写。这是我的类,它读取本地文件的内容并假设反转其内容。我使用的是 java 版本 8。 public class MappedByteBufferEx
据我所知,在调用 FileChannel.map 之后,MappedByteBuffer 将文件内容“映射”到内存中,但不一定将整个文件加载到内存中. 所以,如果我开始阅读,例如在 pos(0) 处,
长期读者,第一次发帖。 我在从一组二进制文件快速读取数据时遇到了一些问题。 ByteBuffers 和 MappedBytBuffers 提供了我需要的性能,但它们似乎需要初始运行来预热。我不确定这是
我将文件读入MappedByteBuffer: MappedByteBuffer buffer = FileChannel.open(file, StandardOpenOption.READ)
我可以让 2 个 Java 进程通过 MappedByteBuffer 共享一个内存区域。 但是,如果这两个进程可以同时读取或写入偏移量x(从共享内存开始处)的字节,我如何同步对该字节的访问? 这是所
我想读取一个 150 MB 的文本文件并将文件的内容拆分为单词。当我使用 MappedByteBuffer 执行此操作时,文件大小为 135 mb 需要 12 秒。当我对 BufferedReader
我有一个程序在重新启动之前运行了 12 个多小时。该程序是一个 minecraft 服务器,因此它不能经常重新启动。 无论如何,大约每 25-35 分钟就会读取一个大小为 42-67mb 的文件。我使
我有一个 MappedByteBuffer,其中一部分包含 PNG 文件的字节。 我想调用:BitmapFactory.decodeByteArray(byte[] data, int offset,
设置和问题 我正在将一个文件转换为一个新文件,但不知道输出缓冲区应该有多大 加密、编码、压缩等都具有这个特性 如果输出MappedByteBuffer太小,将会抛出java.nio.BufferOve
我对 MappedByteBuffer 有一个问题,特别是它的内部工作方式。据我了解,缓存完全由操作系统完成。因此,如果我从文件中读取(使用 MappedByteBuffer),操作系统将从硬盘驱动器
有什么方法可以让 MappedByteBuffer 在文件上有一个滑动窗口。我有一个非常大的文件 (20GB),但我一次只想制作 100MB。我试过这只是丢弃旧缓冲区并从 channel 创建一个新缓
在我看来MappedByteBuffer.isLoaded()在 Windows 上始终返回 false。当我在 BSD Unix 上测试时,我使用相同的测试数据得到 true。 我应该担心吗?无论我
这是我正在运行的代码: import java.io.RandomAccessFile; import java.nio.MappedByteBuffer; import java.nio.chann
我有一个应用程序,其中发生大量文件 I/O(读取和写入)。我知道使用多个线程执行文件 I/O 并不是一个好的解决方案,因为它会降低性能(我无法控制所使用的磁盘类型)。因此,我最终将一个线程专门用于所有
我有一个小而简单的存储系统,可以通过内存映射文件访问。因为我需要处理超过 2GB 的空间,所以我需要一个固定大小的 MappedByteBuffer 列表,例如 2GB(由于不同的原因,我使用的较少)
我有几个 100k 值的大型 double 组和长数组,每个数组都需要在给定时间访问以进行计算,即使请求了 largeHeap,Android 操作系统也没有给我足够的内存,而且我在大多数测试设备中不
关于Expanding Java Memory-Mapped Byte Buffer ,为什么缓冲区在写入超过限制时不扩展?甚至没有一种方法可以在不重新映射缓冲区的情况下实现该行为。这对我来说也有点奇
我真的遇到了麻烦:我想使用 FileChannel 和 MappedByteBuffer 读取超过几个 GB 的巨大文件 - 我发现的所有文档都表明映射相当简单使用 FileChannel.map()
我遇到了一个问题,我创建了大小为 1KB 的 MappedByteBuffer,并滑动了大小为 20MB 的文件。 for(20MB file) { writeBuffer = fc.map(
我是一名优秀的程序员,十分优秀!