python - 是否可以在大型稀疏矩阵上使用 scikit TSNE？

Question

scikit documentation解释 fit_transform只能用于密集矩阵，但我有一个 csr 格式的稀疏矩阵，我想对其执行 tsne。文档说使用 fit稀疏矩阵的方法，但这不会返回低维嵌入。

我很感激我可以使用 .todense()方法如 this question ，但我的数据集非常大(0.4*10^6 行和 0.5*10^4 列)所以不适合内存。真的，使用稀疏矩阵来做到这一点会很好。有没有办法使用 scikit TSNE(或 TSNE 的任何其他 Python 实现)来减少大型稀疏矩阵的维数并返回低维嵌入然后进行可视化？

Answer 1

来自同一个文档:

It is highly recommended to use another dimensionality reduction method (e.g. PCA for dense data or TruncatedSVD for sparse data) to reduce the number of dimensions to a reasonable amount (e.g. 50) if the number of features is very high. This will suppress some noise and speed up the computation of pairwise distances between samples.

使用 sklearn.decomposition.TruncatedSVD 反而。