hadoop - 为什么 Mahout 还没有线性回归

Question

我刚刚开始使用 Mahout，令我非常困惑的一件事是缺少线性回归。即使是更难的逻辑回归，在一定程度上也得到了研究的支持，但在线性回归方面却一无所获!

据我了解，OLS 是最容易解决的问题之一 -

Y = Xb + e

具有 b = (X^T X)^(-1) X^T Y 的线性回归解，其中 X^T 是 X 的转置，并且如果矩阵 (X^T X) 是奇异的(即不可逆) 那么即使存在使用广义逆的解决方案，也可以显示错误消息。

X^T X 和 X^ Y 的计算只是计算元素的总和和乘积的总和，据我所知，这可能是使用 MapReduce 做的最简单的事情。

(这让我想到......是否有任何模块支持计算回归系数所需的 native 矩阵运算？这会使回归模块确实变得不必要......)

我是否遗漏了一些东西，使得回归难以在 Mahout 中计算？

Answer 1

我不知道这样的事情是否有“为什么”。它只是不存在。

但是我认为这与您的假设相反；这太“容易”了。除非您正在求解一千万个方程式的解，否则它可能不是 Hadoop 所要求的规模。有很多现有的软件包可以在一台机器上很好地完成这项工作。如果您还想从 Apache 获得 Java 中的内容，只需查看 Commons Math 示例即可。

并不是说项目中不能有一个很好的非分布式版本，但由于重点主要是大规模和 Hadoop，这可能是“为什么”。