python - 尝试 SVD 时，Google-colaboratory 内核死机

Question

我正在尝试在 google-colaboratory python 2 环境中对 MNIST 数据集执行 SVD。下面是我的代码，

from sklearn.datasets import fetch_mldata
import numpy as np

mnist = fetch_mldata('MNIST original')

U, S, V = np.linalg.svd(mnist.data)

运行上述代码后，内核将在一条消息后重新启动:

Runtime died. Automatically restarting.

我做错了什么吗？感谢您的帮助。

Answer 1

这里的问题是您的虚拟机内存不足。

取决于你想做什么，numpy为您提供两种减少返回数据量的方法——来自 the docs :

• 你可以通过 compute_uv=False完全跳过计算酉矩阵 U和 V , 或
• 你可以通过full_matrices=False避免计算完整的 U和 V矩阵。

特别是 full_matrices=True , U是 70000x70000矩阵，这是导致内存不足问题的原因。