matlab - 大矩阵和稀疏矩阵乘法

Question

我有一个非常大的稀疏矩阵，大小为 180GB(文本，30k * 3M)，仅包含条目，没有其他数据。我必须对其进行矩阵乘法、求逆和一些类似的线性代数运算。我尝试了 Octave 和简单的单线程 C 代码来进行乘法运算，但我的 40GB 系统 RAM 很快就用完了，然后我发现程序开始抖动。我还有其他选择吗？我不熟悉 MathLab 或任何其他可以帮助我这样做的矩阵运算库。

当我运行两个具有 10 行和 3 M 列的矩阵的简单矩阵乘法及其转置时，出现以下错误:

    memory exhausted or requested size too large for range of Octave's index type

我不确定同样的方法是否适用于 Matlab。对于稀疏矩阵表示和矩阵乘法，是否有其他库或代码。

Answer 1

如果非零项足够少，我建议创建一个具有适当维度和最大非零项的稀疏矩阵 S；见matlab create sparse matrix .然后正如@oleg komarov 所描述的那样，将矩阵加载到 block 中并将每个 block 中的非零条目分配到稀疏矩阵 S 中的正确地址。我觉得如果你的矩阵足够稀疏，那么加载它真的是你面临的唯一困难.我遇到过大型转运运营商的类似问题。