machine-learning - PCA、TruncatedSVD 和 ICA 之间的详细区别是什么？

Question

谁能详细告诉我PCA(主成分分析)、TruncatedSVD(截断奇异值分解)和ICA(独立成分分析)之间的区别吗？

Answer 1

详细说明将需要长页 PDF 文档:-)。

但这个想法很简单:

1. 主成分分析 (PCA) - 分析数据 native 坐标。即沿数据具有最大能量的坐标(方差)。对于维度为 d 的 n 个样本，将存在 $d$ 正交方向。即转换到它们上的数据没有相关性。如果我们将数据视为随机变量，则意味着我们找到了一个坐标系，其中投影数据中任何对的互相关(第一矩)都消失了。
   这是一种通过保留大部分能量来近似低维数据的非常有效的方法。
2. 截断 SVD - 可以表明计算这些坐标系的方法之一是使用 SVD。因此，这是应用 PCA 背后的思想的方法。
3. 独立成分分析 (ICA) - 这比 PCA 更进一步。虽然在 PCA 中我们仅处理 ICA 中数据的一阶矩(相关性)，但我们正在研究更高矩并尝试找到使更高矩消失的数据投影(考虑缺乏相关性与概率独立)。