python - 在大型矩阵上计算时 MDS 挂起

Question

我正在尝试将 64535 x 67 矩阵降维为 2 维，将其变为 64535 x 2 矩阵。除了这是一个大矩阵和大量减少这一事实之外，我不确定下面的拟合变换计算被挂起的原因是什么。 mds 没有能力处理这么大的矩阵/约简吗？有解决办法吗？

temp = df.select_dtypes(include=[np.number])
norm = (temp - temp.mean())/temp.std()

mds = sklearn.manifold.MDS(n_components=2, eps=0)
data2d = mds.fit_transform(norm)

Answer 1

MDS 的复杂度为 O(N^3)，它可能没有挂起，但仍在运行。请查看下面论文的第 3 部分。 MDS 在大型矩阵上表现得很好，但需要相当长的时间。我不知道你想用降维来做什么，但如果你只是在寻找速度，我会建议某种类型的 randomized projections (仍然有效)。

http://web.mit.edu/cocosci/Papers/nips02-localglobal-in-press.pdf