python - 尝试在 python 中有效地计算相关矩阵

Question

我有一个非常大的 numpy 数据数组(100K 列 x 7K 行)，我想计算列之间的所有成对 Pearson 相关性(~(100,000^2)/2 = 50 亿相关性)。该数组几乎不适合 RAM，因此简单的方法不会削减它，我也想相当有效地做到这一点。有什么方法可以做到这一点(最好是在 Python 中，尽管 C/C++ 也可以接受)？任何并行的方法也会非常有帮助，因为我想在合理的时间内完成它。

我已经尝试过使用 numpy.corrcoef 函数，但这只使用了一个处理器，而且还引发了内存错误。

Answer 1

我正在使用 DeepGraph 执行此操作并行运行它的库。我按照他们那里的教程生成了大型相关矩阵。它现在正在运行，在我的 8*3.4GHz 机器上似乎需要(仅!!)2 小时。我正在使用我 16GB RAM 的大部分来执行此操作，但似乎一切都在一起。