R在时间序列距离计算期间内存不足

Question

问题描述

我有 45000 个短时间序列(长度为 9)，想计算聚类分析的距离。我意识到这将导致(的下三角)一个大小为 45000x45000 的矩阵，一个包含超过 20 亿个条目的矩阵。毫不奇怪，我得到:

> proxy::dist(ctab2, method="euclidean")
Error: cannot allocate vector of size 7.6 Gb

我能做什么？

想法

• 以某种方式增加可用/可寻址内存？但是，这些7.6G可能超出了一些无法扩展的硬限制？在任何情况下，系统都有 16GB 内存和相同数量的交换空间。对于“Gb”，R 似乎是指千兆字节，而不是千兆位，因此 7.6Gb 使我们已经危险地接近硬限制。
• 也许有一种不同的距离计算方法而不是欧几里得，比如 DTW，可能更节省内存？但是，如下所述，内存限制似乎是结果矩阵，而不是计算时所需的内存。

• 将数据集拆分为 N 个 block 并计算 N^2 部分(实际上只是与下三角相关的那些部分)的矩阵，这些部分稍后可以重新组合？ (这可能看起来类似于针对类似问题提出的解决方案 here。)不过，这似乎是一个相当困惑的解决方案。此外，我最终还是需要 45K x 45K 矩阵。然而，这似乎达到了极限。生成45K x 45K随机矩阵时系统也给出了内存分配错误:

  > N=45000; memorytestmatrix <- matrix( rnorm(N*N,mean=0,sd=1), N, N)
Error: cannot allocate vector of size 15.1 Gb

  30K x 30K 矩阵是可能的，没有问题，R 给出结果大小为

  > print(object.size(memorytestmatrix), units="auto")
6.7 Gb

  1 Gb 似乎一切都会好起来的。可悲的是，我没有任何可以删除以腾出空间的大对象。此外，具有讽刺意味的是，

  > system('free -m')
Warning message:
In system("free -m") : system call failed: Cannot allocate memory

  我不得不承认，我不太确定为什么 R 拒绝分配 7.6 Gb；系统当然有更多的内存，虽然不是很多。 ps aux将 R 进程显示为单个最大的内存用户。即使有更多可用内存，R 可以寻址多少内存可能存在问题？

相关问题

• 与 R 内存不足相关的其他问题的答案，例如 this one , 建议使用内存效率更高的计算方法。
• This very helpful answer建议删除其他大对象，为内存密集型操作腾出空间。
• Here ，建议拆分数据集并逐 block 计算距离的想法。

软件和版本

R 版本为 3.4.1。系统内核为 Linux 4.7.6，x86_64(即 64 位)。

> version
           _                           
platform       x86_64-pc-linux-gnu         
arch           x86_64                      
os             linux-gnu                   
system         x86_64, linux-gnu           
status                                     
major          3                           
minor          4.1                         
year           2017                        
month          06                          
day            30                          
svn rev        72865                       
language       R                           
version.string R version 3.4.1 (2017-06-30)
nickname       Single Candle 

编辑(8 月 27 日):更多信息

• 将 Linux 内核更新到 4.11.9 没有任何效果。
• bigmemory 包也可能内存不足。它在 /dev/shm/ 中使用共享内存其中系统默认(但取决于配置)允许 RAM 大小的一半。您可以在运行时通过执行(例如)mount -o remount,size=12Gb /dev/shm 来增加它，但这可能仍然不允许使用 12Gb。 (不知道为什么，可能是内存管理配置不一致吧)。另外，you may end up crashing your system if you are not careful .
• R 显然实际上允许访问整个 RAM 并且可以创建达到该大小的对象。它似乎对特定功能失败，例如 dist .我会添加这个作为答案，但我的结论有点基于推测，所以我不知道这在多大程度上是正确的。

Answer 1

R 显然实际上允许访问整个 RAM。这工作得很好:

N=45000; memorytestmatrix <- matrix(nrow=N, ncol=N)

这与我之前在原始问题中描述的尝试相同，但使用 NA 矩阵而不是 rnorm随机变量。将矩阵中的一个值重新分配为 float ( memorytestmatrix[1,1]<-0.5 ) 仍然有效，并将矩阵重铸为浮点矩阵。

因此，我想，你可以有一个那个大小的矩阵，但你不能像 dist 那样做功能试图做到这一点。一个可能的解释是该函数与多个该大小的对象一起运行以加快计算速度。但是，如果您按元素计算距离并就地更改值，则此方法有效。

library(mefa)     # for the vec2dist function

euclidian <- function(series1, series2) {
    return((sum((series1 - series2)^2))^.5)
}

mx = nrow(ctab2)
distMatrixE <- vec2dist(0.0, size=mx)
for (coli in 1:(mx-1)) {
    for (rowi in (coli+1):mx) {
        # Element indices in dist objects count the rows down column by column from left to righ in lower triangular matrices without the main diagonal. 
        # From row and column indices, the element index for the dist object is computed like so:
        element <- (mx^2-mx)/2 - ((mx-coli+1)^2 - (mx-coli+1))/2 + rowi - coli
        # ... and now, we replace the distances in place
        distMatrixE[element] <- euclidian(ctab2[rowi,], ctab2[coli,])
    }
}

(请注意，在 dist 对象中寻址有点棘手，因为它们不是矩阵，而是大小为 (N²-N)/2 的一维向量，重铸为大小为下三角矩阵N x N。如果我们以正确的顺序遍历行和列，也可以使用计数器变量来完成，但我想显式计算元素索引会更清楚。)

另请注意，可以通过使用 sapply 来加快速度。通过一次计算多个值。