- r - 以节省内存的方式增长 data.frame
- ruby-on-rails - ruby/ruby on rails 内存泄漏检测
- android - 无法解析导入android.support.v7.app
- UNIX 域套接字与共享内存(映射文件)
我试图通过使用 MappedByteBuffer
对特定文件进行内存映射,在两个或多个 JVM 之间实现一种共享缓存。从规范中我看到,当我们使用 MappedByteBuffer.load()
时,它应该将数据加载到直接缓冲区中。我对此有几个问题。
我的代码片段::
RandomAccessFile file = new RandomAccessFile("file.txt","rw");
FileChannel fc = file.getChannel();
MappedByteBuffer buf5 = fc.map(MapMode.READ_WRITE, 0, fc.size());
//ByteBuffer buf6 = ByteBuffer.allocateDirect(100000000);
buf5.load();
try
{
Class c = Class.forName("java.nio.Bits");
Field f = c.getDeclaredField("reservedMemory");
f.setAccessible(true);
long reservedMemory = f.getLong(null);
f = c.getDeclaredField("maxMemory");
f.setAccessible(true);
System.out.println(
"Direct Memory Usage: "+ reservedMemory +"/"+ f.getLong(null)+"\n");
}
catch (Throwable t)
{
}
上述代码的输出为 0 字节,用于直接内存使用(File.txt 为 1 GB)。但是如果我取消注释该行..
ByteBuffer buf6 = ByteBuffer.allocateDirect(100000000);
我得到 100MB 的直接内存使用量。无法理解为什么会这样,至于为什么我没有得到任何直接的内存使用(即当该行被注释掉时)
虽然上述代码的 Direct Memory Usage 为 0 B,但我确实看到进程的常驻内存(使用 unix top )增加了 1 GB。但如果我在盒子上执行“free -m”,我看不到内存使用量有任何增加。
在这两种情况下,我都对内存的终点感到有些困惑。
谢谢!
最佳答案
Direct ByteBuffers(使用 ByteBuffer.allocateDirect 分配的)与 MappedByteBuffers 的不同之处在于它们代表不同的内存部分并且分配方式不同。 Direct ByteBuffers 是一种访问在 JVM 之外分配的内存块的方法,通常通过 malloc 调用分配(尽管大多数实现可能会使用高效的slab分配器)。 IE。它只是一个指向内存块的指针。
MappedByteBuffer 表示使用 mmap 调用分配的一段内存,用于执行内存映射 I/O。因此 MappedByteBuffers 不会像 Direct ByteBuffer 那样注册它们对内存的使用。
因此,虽然两者都是“直接”的,因为它们代表 JVM 之外的内存,但它们的目的是不同的。
顺便说一句,为了获得 reservedMemory 值,您反射性地调用了 JVM 的内部方法,其实现未包含在任何规范中,因此无法保证该值返回什么。可以使用 NewDirectByteBuffer 从 JNI 中分配 Direct ByteBuffers从 C/C++ 调用(MappedByteBuffers 可能会使用它),这可能不会影响 reservedMemory 值,该值可能仅在使用 Java ByteBuffer.allocateDirect 时更改。
关于java - ByteBuffer.allocateDirect() 和 MappedByteBuffer.load() 之间的区别,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/1229037/
我有一个 java.nio.MappedByteBuffer,用于从小端文件中读取整数。我使用 ByteBuffer.order() 将字节顺序设置为 LITTLE_ENDIAN,但这会导致缓冲区将整
我很难理解 MappedByteBuffer 的读写。这是我的类,它读取本地文件的内容并假设反转其内容。我使用的是 java 版本 8。 public class MappedByteBufferEx
据我所知,在调用 FileChannel.map 之后,MappedByteBuffer 将文件内容“映射”到内存中,但不一定将整个文件加载到内存中. 所以,如果我开始阅读,例如在 pos(0) 处,
长期读者,第一次发帖。 我在从一组二进制文件快速读取数据时遇到了一些问题。 ByteBuffers 和 MappedBytBuffers 提供了我需要的性能,但它们似乎需要初始运行来预热。我不确定这是
我将文件读入MappedByteBuffer: MappedByteBuffer buffer = FileChannel.open(file, StandardOpenOption.READ)
我可以让 2 个 Java 进程通过 MappedByteBuffer 共享一个内存区域。 但是,如果这两个进程可以同时读取或写入偏移量x(从共享内存开始处)的字节,我如何同步对该字节的访问? 这是所
我想读取一个 150 MB 的文本文件并将文件的内容拆分为单词。当我使用 MappedByteBuffer 执行此操作时,文件大小为 135 mb 需要 12 秒。当我对 BufferedReader
我有一个程序在重新启动之前运行了 12 个多小时。该程序是一个 minecraft 服务器,因此它不能经常重新启动。 无论如何,大约每 25-35 分钟就会读取一个大小为 42-67mb 的文件。我使
我有一个 MappedByteBuffer,其中一部分包含 PNG 文件的字节。 我想调用:BitmapFactory.decodeByteArray(byte[] data, int offset,
设置和问题 我正在将一个文件转换为一个新文件,但不知道输出缓冲区应该有多大 加密、编码、压缩等都具有这个特性 如果输出MappedByteBuffer太小,将会抛出java.nio.BufferOve
我对 MappedByteBuffer 有一个问题,特别是它的内部工作方式。据我了解,缓存完全由操作系统完成。因此,如果我从文件中读取(使用 MappedByteBuffer),操作系统将从硬盘驱动器
有什么方法可以让 MappedByteBuffer 在文件上有一个滑动窗口。我有一个非常大的文件 (20GB),但我一次只想制作 100MB。我试过这只是丢弃旧缓冲区并从 channel 创建一个新缓
在我看来MappedByteBuffer.isLoaded()在 Windows 上始终返回 false。当我在 BSD Unix 上测试时,我使用相同的测试数据得到 true。 我应该担心吗?无论我
这是我正在运行的代码: import java.io.RandomAccessFile; import java.nio.MappedByteBuffer; import java.nio.chann
我有一个应用程序,其中发生大量文件 I/O(读取和写入)。我知道使用多个线程执行文件 I/O 并不是一个好的解决方案,因为它会降低性能(我无法控制所使用的磁盘类型)。因此,我最终将一个线程专门用于所有
我有一个小而简单的存储系统,可以通过内存映射文件访问。因为我需要处理超过 2GB 的空间,所以我需要一个固定大小的 MappedByteBuffer 列表,例如 2GB(由于不同的原因,我使用的较少)
我有几个 100k 值的大型 double 组和长数组,每个数组都需要在给定时间访问以进行计算,即使请求了 largeHeap,Android 操作系统也没有给我足够的内存,而且我在大多数测试设备中不
关于Expanding Java Memory-Mapped Byte Buffer ,为什么缓冲区在写入超过限制时不扩展?甚至没有一种方法可以在不重新映射缓冲区的情况下实现该行为。这对我来说也有点奇
我真的遇到了麻烦:我想使用 FileChannel 和 MappedByteBuffer 读取超过几个 GB 的巨大文件 - 我发现的所有文档都表明映射相当简单使用 FileChannel.map()
我遇到了一个问题,我创建了大小为 1KB 的 MappedByteBuffer,并滑动了大小为 20MB 的文件。 for(20MB file) { writeBuffer = fc.map(
我是一名优秀的程序员,十分优秀!