r - 更快的 i, j 矩阵单元格填充

Question

我想获取数据帧/矩阵的列，并在数据帧的每个单元格 ( [i, j] ) 之间应用一个函数，其中 i 和 j 是数据帧列的序列。基本上我想以与 cor 相同的方式填充单个单元格的矩阵。函数与 data.frame 一起使用。

这是一个相关问题:Create a matrix from a function and two numeric data frames但是，我在随机化测试中使用它并多次重复该操作(制作许多矩阵)。我正在寻找执行此操作的最快方法。我使用并行处理加快了一些速度，但我仍然对这种速度不满意。也不能假设矩阵输出是对称的，即cor。产生一个对称矩阵(我的例子将反射(reflect)这一点)。

我今天在 data.table 网页 ( http://datatable.r-forge.r-project.org/ ) 上看到以下内容:

500+ times faster than DF[i,j]<-value

这让我想到也许 data.table或 dplyr或其他方式可能会加快速度。我的大脑一直专注于填充细胞，但也许有更好的方法涉及 reshape 、应用函数和 reshape 矩阵或沿着这些线的东西。我可以使用 outer 在 base R 中实现这一点或 for循环如下。

## Arbitrary function
FUN <- function(x, y) round(sqrt(sum(x)) - sum(y), digits=1)

## outer approach
outer(
  names(mtcars), 
  names(mtcars), 
  Vectorize(function(i,j) FUN(mtcars[,i],mtcars[,j]))
)

## for approach
mat <- matrix(rep(NA, ncol(mtcars)^2), ncol(mtcars))
for (i in 1:ncol(mtcars)) {
    for (j in 1:ncol(mtcars)) {
        mat[i, j] <- FUN(mtcars[, i], mtcars[, j])
    }
}
mat

这是 microbenchmark时间与 for获得轻微的优势。

Unit: milliseconds
    expr      min       lq   median       uq      max neval
 OUTER() 4.450410 4.691124 4.774394 4.877724 55.77333  1000
   FOR() 4.309527 4.521785 4.588728 4.694156  7.04275  1000

在 R 中最快的方法是什么(欢迎添加包)？

Answer 1

仍然坚持使用 base R 解决方案，我在基于 for 的方法中获得了 1.6-1.7 倍的加速:

• 用 [,i] 代替 [[i]](显着的时间影响 - 也许 FUN 只是在这里接收 C 指针而不是新鲜的分配的向量)；
• FUN的字节码编译(时间影响小)；
• 将 for 代码包装成函数 + 字节码编译(时间影响小)；

顺便说一句，在 2 个循环中交换索引 (i,j) -> (j,i) 不会导致显着差异(理论上，按行矩阵访问应该更快)。

代码:

library(compiler)
FUN2 <- cmpfun(FUN)
for2 <- cmpfun(function(mtcars, FUN) {
      mat <- matrix(rep(NA, ncol(mtcars)^2), ncol(mtcars))
   for (i in 1:ncol(mtcars)) {
       for (j in 1:ncol(mtcars)) {
           mat[i, j] <- FUN(mtcars[[i]], mtcars[[j]])
       }
   }
   mat
})

基准:

 Unit: milliseconds
                min       lq   median       uq      max neval
 outer     7.791739 7.991474 8.245869 8.538163 16.24460   100
 for       8.143679 8.463249 8.588230 9.912008 16.30842   100
 for-mods  4.713837 4.875972 5.006202 5.246584 15.66491   100

在我看来，很难找到更快的方法(但我可能是错的)。与多次计算 FUN 所需的时间相比，for 循环时间偏差非常小(大约 0.25 毫秒)。