RcppEigen 无法将包含超过 2^31 个元素的矩阵返回给 R

Question

这个问题已经有答案了:

Is there a limit on working with matrix in R with Rcpp? (2 个回答)

已关闭 5 年前。

我一直在使用 Rcpp 和 RcppEigen 包进行一些矩阵计算，并注意到如果要返回到 R 的矩阵长度超过.Machine$integer.max，则会产生错误。 。这是一个可重现的示例:

test_rcpp.cpp

// [[Rcpp::depends(RcppEigen)]]

#include <RcppEigen.h>

using namespace Rcpp;

// [[Rcpp::export]]
SEXP testM(const Eigen::Map<Eigen::MatrixXd> A) {
    Eigen::MatrixXd C = A * A.transpose();
    return List::create(Rcpp::Named("first") = C.block(0,0,C.rows()/2,C.cols()),
                      Rcpp::Named("second") = C.block(C.rows()/2,0,C.rows()/2+1,C.cols()));
}

// [[Rcpp::export]]
SEXP testM2(const Eigen::Map<Eigen::MatrixXd> A) {
    Eigen::MatrixXd C = A * A.transpose();
    return wrap(C);
}

test_rcpp.R

library(Rcpp)

sourceCpp("./test_rcpp.cpp")

A <- matrix(rep(1, ceiling(sqrt((.Machine$integer.max)))), nrow=ceiling(sqrt(.Machine$integer.max)))

tm <- do.call(rbind, testM(A))

tm2 <- testM2(A)

正在运行testM2(A)返回错误Error in testM2(A) : negative length vectors are not allowed 。目前，testM(A)是我的解决方法，它将矩阵分成两半并返回两半的列表。

这是预期的行为吗？如果是这样，还有哪些其他解决方法？

这个link有一些信息，但没有具体帮助我解决这个问题。类似post表明当矩阵的维度超过 2^31 时会遇到问题。在本例中，我返回的矩阵的尺寸为 c(46341, 46341) ，远低于对矩阵索引施加的 2^31 限制，并且包含 2147488281 个元素，远低于对 long 施加的 2^52 限制向量。

sessionInfo() 的子集信息:

R version 3.5.0 (2018-04-23)
Platform: x86_64-pc-linux-gnu (64-bit)
Running under: Red Hat Enterprise Linux Server release 6.3 (Santiago)

注意:我在 R 版本 3.4.2 上遇到同样的问题。

Answer 1

这是 RcppEigen 当前实现的限制。示例:

// [[Rcpp::depends(RcppEigen)]]    
#include <RcppEigen.h>

// [[Rcpp::export]]
void get_length_rcpp(Rcpp::IntegerMatrix m){
  Rcpp::Rcout << m.nrow() << ' ' << m.ncol() << ' ' 
              << (m.nrow() * m.ncol()) << ' ' << m.size(); 
}

// [[Rcpp::export]]
void get_length_eigen(Eigen::Map<Eigen::MatrixXi> m){
  Rcpp::Rcout << m.rows() << ' ' << m.cols() << ' ' 
              << (m.rows() * m.cols()) << ' ' << m.size(); 
}

/*** R
N <- 5e4
A <- matrix(1L, ncol = N, nrow = N)
get_length_rcpp(A)
get_length_eigen(A)
*/

输出:

> N <- 50000

> A <- matrix(1, ncol = N, nrow = N)

> get_length_rcpp(A)
50000 50000 -1794967296 2500000000
> get_length_eigen(A)
Error in get_length_eigen(A) : 
  long vectors not supported yet: ../../src/include/Rinlinedfuns.h:519
Calls: <Anonymous> ... withVisible -> eval -> eval -> get_length_eigen -> .Call
Execution halted

我打开了issue和一个pull request在 github 上。