java - java中大数组引起的内存不足异常

Question

我正在实现一种基于概率潜在语义索引(plsa)的算法，论文是 here需要一个四维数组，名为p_z_d_wt_wv，z是主题，d是文档，wt是文本单词，wv是视觉单词，每个维度的数量约为12、7000、100、500，数组是双数组，所以需要32G内存!我按照下面的方式分配内存，这只是为了演示，因为每个文档中的 wt 和 wv 数量不同。

p_z_d_wt_wv = new double[12][7000][][]; 
for( int t = 0; t < 12; ++t) 
{ 
    for( int d = 0; d < 7000; ++d ) 
    { 
        p_z_d_wt_wv[t][d] = new double[100][500];
    } 
}

当我运行代码时，它出现内存不足问题。首先，为什么我的代码会耗尽内存？ 按照我的方式分配数组，内存是连续分配的吗？ 是不是因为java对连续内存有内存限制？如果可以的话，限制是多少？

第二，如果服务器内存足够大，如何解决这个问题？我知道我可以将其更改为 float 数组，但是还有其他解决方案吗？

Answer 1

如果您确实需要所有内存，那么您就需要所有内存。

还有一些替代方案:

1. 您可以考虑使用内存映射文件。

2. 如果数组中有很多零，您可以将其存储为稀疏矩阵表示形式(不要显式存储 0)。

3. 如果您不需要立即将整个内容存储在内存中，您也可以将其存储在某种持久存储中(文件、数据库等)，并且仅在任何给定时间访问您需要的部分。