r - 在 R 中创建大数据的数据结构

Question

我正在用 R 编写基因水平分析脚本，并且必须处理大量数据。

我最初的想法是创建一个 super 列表结构，即列表中的一组列表。本质上的结构是

#12.8 mins
list[[1:8]][[1:1000]][[1:6]][[1:1000]] 

这是巨大的，仅仅设置数据结构就需要超过 12 分钟。流式处理这一过程，在设置 1:8 列表的一个值时，我可以将其降低到大约 1.6 分钟，所以本质上...

#1.6 mins
list[[1:1]][[1:1000]][[1:6]][[1:1000]] 

通常情况下，我会在需要时即时创建结构，但是，我正在分发 1:1000 步骤，这意味着我不知道它们会按哪个顺序返回。

还有其他包可以处理此级别数据的创建吗？我可以在我的方法中使用任何更有效的数据结构吗？

如果这看起来完全是错误的方法，我深表歉意，但这是我第一次在 R 中处理大数据。

Answer 1

请注意，列表是向量，并且与任何其他向量一样，它们可以具有 dim 属性。

l <- vector("list", 8 * 1000 * 6 * 1000)
dim(l) <- c(8, 1000, 6, 1000)

这实际上是瞬时的。您可以使用 [[ 访问各个元素，例如 l[[1, 2, 3, 4]]。