gpt4 book ai didi

Java:是否存在磁盘与内存一样快的情况?

转载 作者:搜寻专家 更新时间:2023-11-01 01:54:07 27 4
gpt4 key购买 nike

我正在编写一些代码来访问 inverted index .我有两个可互换的类,它们对索引执行读取。一个从磁盘读取索引,缓冲它的一部分。另一个将索引完全加载到内存中,作为 byte[][](索引大小约为 7Gb)并从此多维数组中读取。人们期望在将整个数据存储在内存中时获得更好的性能。但我的措施表明,使用磁盘上的索引与在内存中一样快。(在内存中加载索引所花费的时间不计算在性能中)

为什么会这样?有什么想法吗?

更多信息:我已经运行了启用 HPROF 的代码。两者都在“磁盘上”或“内存中”工作,最常用的代码不是与读取直接相关的代码。此外,就我(有限)的理解而言,gc 分析器没有显示任何与 gc 相关的问题。

更新 #1:我已经对我的代码进行了检测以监控 I/O 时间。似乎大多数在内存上的寻道需要0-2000ns,而大多数在磁盘上的寻道需要1000-3000ns。第二个指标对我来说似乎有点太低了。是由于 Linux 的磁盘缓存吗?有没有办法排除磁盘缓存以进行基准测试?

更新 #2:我绘制了每个索引请求的响应时间图表。内存线和磁盘线几乎完全匹配。我已经使用 O_DIRECT 标志完成了一些其他测试来打开文件(感谢 JNA!),在这种情况下,代码的磁盘版本(显然)比内存慢。所以,我得出结论,“问题”是因为积极的 Linux 磁盘缓存,这非常惊人。

更新#3:http://www.nicecode.eu/java-streams-for-direct-io/

最佳答案

我想到了三种可能性:

  • 操作系统已经通过其文件系统缓存将所有索引文件保存在内存中。 (请注意,我仍然希望有开销。)
  • 索引不是您正在测试的代码的瓶颈。
  • 您的基准测试方法不太正确。 (做好基准测试可能非常困难。)

我觉得中间的选项最有可能。

关于Java:是否存在磁盘与内存一样快的情况?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/15507017/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com