- iOS/Objective-C 元类和类别
- objective-c - -1001 错误,当 NSURLSession 通过 httpproxy 和/etc/hosts
- java - 使用网络类获取 url 地址
- ios - 推送通知中不播放声音
我有一个算法,目前分配一个非常大的 double 组,它经常更新和搜索。数组的大小为 N^2/2,其中 N 是算法运行的行数。为了与围绕算法的应用程序相关的目的,我还必须保留整个内容的副本。
当然,这对我的算法可以处理的行数施加了限制,因为我要应对堆限制。到目前为止,我已经让使用该算法的人更新 -Xmx 设置以分配更多空间,并且效果很好。但是,我现在遇到了一个真正的问题,我需要这个数组大于我可以放入内存的数组。
我已经计划更改我的算法以减轻这种大型阵列的必要性,并在该领域取得一些有希望的结果。然而,这是对过程的根本改变,需要做更多的工作才能达到我当前代码的高度完善状态,该代码在生产中非常成功地运行并且已经运行了好几年。
因此,在我完善新算法的同时,我想延长现有算法的生命周期,这意味着要解决与分配大量 double 组相关的堆限制。
我的问题是处理它的最佳方法是什么?我应该使用 nio FileChannel 和 MappedByteBuffer,还是有更好的方法。如果我确实使用 nio 方法,与相同大小的内存数组相比,我应该期待什么样的性能下降?
谢谢
最佳答案
如果您开始用完可用内存,那么您可能很快也会用完可用数组索引,数组的大小限制为 Integer.MAX_VALUE
,并且当使用 double 作为数组元素的大小“只有”32GB。
获得一台具有 32GB 内存的机器是昂贵的,但可能不如您花时间修改算法和所有相关测试那么昂贵。
但是,如果客户端运行到内存边缘,并且他们的数据集仍在增长,那么您现在咬紧牙关并进行更改以在任何给定时间使用更少的内存是有意义的,因为它们可能很快就会超出数组的容量。
假设数组有些稀疏填充,您还有另一种选择,即使用各种稀疏数组数据结构之一,尽管这些往往仅在数组填充率低于 20% 时才有用。
编辑:既然您似乎已经研究了替代方案,那么 MappedByteBuffer 很可能是可行的方法。显然这会对性能产生影响,但是如果您主要从阵列进行顺序读取和写入,那么这应该不会太糟糕。如果您正在进行随机读写,那么这将变得非常慢非常快。或者非常慢非常慢......取决于你如何看待这些事情;-)
关于java - 我应该如何处理 Java 中的一个非常大的数组?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/1918356/
我正在尝试在Elasticsearch中返回的值中考虑地理位置的接近性。我希望近距离比某些字段(例如legal_name)重要,但比其他字段重要。 从文档看来,当前的方法是使用distance_fea
我是Elasticsearch的初学者,今天在进行“多与或”查询时遇到问题。 我有一个SQL查询,需要在Elastic中进行转换: WHERE host_id = 999 AND psh_pid =
智能指针应该/可以在函数中通过引用传递吗? 即: void foo(const std::weak_ptr& x) 最佳答案 当然你可以通过const&传递一个智能指针。 这样做也是有原因的: 如果接
我想执行与以下MYSQL查询等效的查询 SELECT http_user, http_req_method, dst dst_port count(*) as total FROM my_table
我用这两个查询进行测试 用must查询 { "size": 200, "from": 0, "query": { "bool": { "must": [ { "mat
我仍在研究 Pro Android 2 的简短服务示例(第 304 页)同样,服务示例由两个类组成:如下所示的 BackgroundService.java 和如下所示的 MainActivity.j
给定标记 like this : header really_wide_table..........................................
根据 shouldJS 上的文档网站我应该能够做到这一点: ''.should.be.empty(); ChaiJS网站没有使用 should 语法的示例,但它列出了 expect 并且上面的示例似乎
我在 Stack Overflow 上读到一些 C 函数是“过时的”或“应该避免”。你能给我一些这种功能的例子以及原因吗? 这些功能有哪些替代方案? 我们可以安全地使用它们 - 有什么好的做法吗? 最
在 C++11 中,可变参数模板允许使用任意数量的参数和省略号运算符 ... 调用函数。允许该可变参数函数对每个参数做一些事情,即使每个参数的事情不是一样的: template void dummy(
我在我从事的项目之一上将Shoulda与Test::Unit结合使用。我遇到的问题是我最近更改了此设置: class MyModel :update end 以前,我的(通过)测试看起来像这样: c
我该如何做 or使用 chai.should 进行测试? 例如就像是 total.should.equal(4).or.equal(5) 或者 total.should.equal.any(4,5)
如果您要将存储库 B 中的更改 merge 到存储库 A 中,是否应该 merge .hgtags 中的更改? 存储库 B 可能具有 A 中没有的标签 1.01、1.02、1.03。为什么要将这些 m
我正在尝试执行X AND(y OR z)的查询 我需要获得该代理为上市代理或卖方的所有已售属性(property)。 我只用 bool(boolean) 值就可以得到9324个结果。当我添加 bool
我要离开 this教程,尝试使用 Mocha、Supertest 和 Should.js 进行测试。 我有以下基本测试来通过 PUT 创建用户接受 header 中数据的端点。 describe('U
我正在尝试为 Web 应用程序编写一些 UI 测试,但有一些复杂的问题希望您能帮助我解决。 首先,该应用程序有两种模式。其中一种模式是“训练”,另一种是“现场”。在实时模式下,数据直接从我们的数据库中
我有一个规范: require 'spec_helper' # hmm... I need to include it here because if I include it inside desc
我正在尝试用这个测试我在 Rails 中的更新操作: context "on PUT to :update" do setup do @countdown = Factory(:count
我还没有找到合适的答案: onclick="..." 中是否应该转义 &(& 符号)? (或者就此而言,在每个 HTML 属性中?) 我已经尝试在 jsFiddle 和 W3C 的验证器上运行转义和非
import java.applet.*; import java.awt.*; import java.awt.event.*; public class Main extends Applet i
我是一名优秀的程序员,十分优秀!