- Java 双重比较
- java - 比较器与 Apache BeanComparator
- Objective-C 完成 block 导致额外的方法调用?
- database - RESTful URI 是否应该公开数据库主键?
我支持使用平面文件(纯文本)实现持久性的遗留 Java 应用程序。由于应用程序的性质,这些文件的大小每天可以达到 100 MB,而应用程序性能的限制因素通常是文件 IO。目前,该应用程序使用普通的 java.io.FileOutputStream 将数据写入磁盘。
最近,我们有几位开发人员断言,使用以 native 代码 (C/C++) 实现并通过 JNI 访问的内存映射文件将提供更高的性能。然而,FileOutputStream 已经为其核心方法(即 write(byte[]))使用了本地方法,因此在没有硬数据或至少没有轶事证据的情况下,它似乎是一个脆弱的假设。
我有几个问题:
这个说法是真的吗?内存映射文件总是提供比 Java 更快的 IO文件输出流?
类 MappedByteBuffer从 FileChannel 提供访问与本地相同的功能已访问内存映射文件库通过 JNI?什么是 MappedByteBuffer缺少它可能会导致您使用JNI解决方案?
使用的风险是什么生产中用于磁盘 IO 的内存映射文件应用?也就是说,应用具有连续正常运行时间最少的重启(每月一次,最多)。生产中的真实轶事应用程序(Java 或其他)首选。
问题 #3 很重要——我可以自己部分回答这个问题,方法是编写一个“玩具”应用程序,该应用程序使用上述各种选项对 IO 进行性能测试,但我希望通过发布到 SO以获取真实世界的轶事/数据。
[编辑] 说明 - 每天运行时,应用程序都会创建多个文件,大小从 100MB 到 1 gig。总的来说,应用程序每天可能会写出数 GB 的数据。
最佳答案
内存映射 I/O 不会使您的磁盘运行得更快(!)。对于线性访问,它似乎有点毫无意义。
NIO 映射缓冲区是真实存在的(通常对任何合理的实现提出警告)。
与其他 NIO 直接分配的缓冲区一样,这些缓冲区不是普通内存,不会像 GC 那样有效。如果你创建了很多它们,你可能会发现你用完了内存/地址空间而没有用完 Java 堆。对于长时间运行的进程,这显然是一个问题。
关于java - 内存映射文件的性能/稳定性 - Native 或 MappedByteBuffer - vs. plain ol' FileOutputStream,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/537295/
我有一个 java.nio.MappedByteBuffer,用于从小端文件中读取整数。我使用 ByteBuffer.order() 将字节顺序设置为 LITTLE_ENDIAN,但这会导致缓冲区将整
我很难理解 MappedByteBuffer 的读写。这是我的类,它读取本地文件的内容并假设反转其内容。我使用的是 java 版本 8。 public class MappedByteBufferEx
据我所知,在调用 FileChannel.map 之后,MappedByteBuffer 将文件内容“映射”到内存中,但不一定将整个文件加载到内存中. 所以,如果我开始阅读,例如在 pos(0) 处,
长期读者,第一次发帖。 我在从一组二进制文件快速读取数据时遇到了一些问题。 ByteBuffers 和 MappedBytBuffers 提供了我需要的性能,但它们似乎需要初始运行来预热。我不确定这是
我将文件读入MappedByteBuffer: MappedByteBuffer buffer = FileChannel.open(file, StandardOpenOption.READ)
我可以让 2 个 Java 进程通过 MappedByteBuffer 共享一个内存区域。 但是,如果这两个进程可以同时读取或写入偏移量x(从共享内存开始处)的字节,我如何同步对该字节的访问? 这是所
我想读取一个 150 MB 的文本文件并将文件的内容拆分为单词。当我使用 MappedByteBuffer 执行此操作时,文件大小为 135 mb 需要 12 秒。当我对 BufferedReader
我有一个程序在重新启动之前运行了 12 个多小时。该程序是一个 minecraft 服务器,因此它不能经常重新启动。 无论如何,大约每 25-35 分钟就会读取一个大小为 42-67mb 的文件。我使
我有一个 MappedByteBuffer,其中一部分包含 PNG 文件的字节。 我想调用:BitmapFactory.decodeByteArray(byte[] data, int offset,
设置和问题 我正在将一个文件转换为一个新文件,但不知道输出缓冲区应该有多大 加密、编码、压缩等都具有这个特性 如果输出MappedByteBuffer太小,将会抛出java.nio.BufferOve
我对 MappedByteBuffer 有一个问题,特别是它的内部工作方式。据我了解,缓存完全由操作系统完成。因此,如果我从文件中读取(使用 MappedByteBuffer),操作系统将从硬盘驱动器
有什么方法可以让 MappedByteBuffer 在文件上有一个滑动窗口。我有一个非常大的文件 (20GB),但我一次只想制作 100MB。我试过这只是丢弃旧缓冲区并从 channel 创建一个新缓
在我看来MappedByteBuffer.isLoaded()在 Windows 上始终返回 false。当我在 BSD Unix 上测试时,我使用相同的测试数据得到 true。 我应该担心吗?无论我
这是我正在运行的代码: import java.io.RandomAccessFile; import java.nio.MappedByteBuffer; import java.nio.chann
我有一个应用程序,其中发生大量文件 I/O(读取和写入)。我知道使用多个线程执行文件 I/O 并不是一个好的解决方案,因为它会降低性能(我无法控制所使用的磁盘类型)。因此,我最终将一个线程专门用于所有
我有一个小而简单的存储系统,可以通过内存映射文件访问。因为我需要处理超过 2GB 的空间,所以我需要一个固定大小的 MappedByteBuffer 列表,例如 2GB(由于不同的原因,我使用的较少)
我有几个 100k 值的大型 double 组和长数组,每个数组都需要在给定时间访问以进行计算,即使请求了 largeHeap,Android 操作系统也没有给我足够的内存,而且我在大多数测试设备中不
关于Expanding Java Memory-Mapped Byte Buffer ,为什么缓冲区在写入超过限制时不扩展?甚至没有一种方法可以在不重新映射缓冲区的情况下实现该行为。这对我来说也有点奇
我真的遇到了麻烦:我想使用 FileChannel 和 MappedByteBuffer 读取超过几个 GB 的巨大文件 - 我发现的所有文档都表明映射相当简单使用 FileChannel.map()
我遇到了一个问题,我创建了大小为 1KB 的 MappedByteBuffer,并滑动了大小为 20MB 的文件。 for(20MB file) { writeBuffer = fc.map(
我是一名优秀的程序员,十分优秀!