algorithm - 是否有用于多参数预测的特殊类型的多元回归？

Question

我正在尝试使用多元回归来打篮球。具体来说，我需要根据 X、Y 和与目标的距离来预测俯仰、偏航和加农炮强度。我正在考虑对每个输出参数使用多变量回归。有更好的方法吗？

另外，我应该直接使用求解来获得最佳拟合，还是使用梯度下降？

Answer 1

ElKamina 的回答是正确的，但需要注意的一点是，它与执行 k 个独立的普通最小二乘回归相同。也就是说，与从 X 到俯仰、从 X 到偏航以及从 X 到强度进行单独的线性回归相同。这意味着，您没有利用输出变量之间的相关性。这可能适合您的应用程序，但确实利用输出中的相关性的一种替代方法是降阶回归(a matlab implementation here)，或者有点相关，您可以通过将 y 投影到它的主成分上来显式地取消相关性(参见 PCA ，也称为在这种情况下为 PCA whitening，因为您没有降低维度)。

我强烈推荐 Izenman 教科书“现代多元统计技术:回归、分类和流形学习”的第 6 章，以便对这些技术进行相当高层次的概述。如果您在大学，可以通过图书馆在线获取它。

如果这些替代方案表现不佳，则有许多具有多个输出版本的复杂非线性回归方法(尽管大多数软件包没有多元修改)，例如支持向量回归、高斯过程回归、决策树回归，甚至神经网络。