math - 高阶线性回归

Question

我有矩阵系统:

A x B = C

A 是 n 的 a 并且 B 是 的 n >b。 A 和 B 都是未知的，但我有关于 C 的部分信息(我有一些值但不是全部)和 n 被挑选得足够小，以至于系统预计会受到过度约束。不需要A 中的所有 行或B 中的列都被过度约束。

我正在寻找类似 least squares 的内容linear regression找到最适合这个系统的方案(注意:我知道不会有一个唯一的解决方案，但我想要的只是最好的解决方案之一)

---

举个具体的例子；所有 a 和 b 都是未知的，所有 c 都是已知的，而 ? 被忽略。我想找到 a 仅考虑已知 c 的最小二乘解决方案。

[ a11, a12 ]                                     [ c11, c12, c13, c14, ?   ]
[ a21, a22 ]   [ b11, b12, b13, b14, b15]        [ c21, c22, c23, c24, c25 ]
[ a31, a32 ] x [ b21, b22, b23, b24, b25] = C ~= [ c31, c32, c33, ?,   c35 ]
[ a41, a42 ]                                     [ ?,   ?,   c43, c44, c45 ]
[ a51, a52 ]                                     [ c51, c52, c53, c54, c55 ]

---

请注意，如果将 B 仅修剪为 b11 和 b21，并且剔除未知的第 4 行，那么这几乎是一个标准的最小二乘线性回归问题。

Answer 1

如前所述，这个问题是不恰当的。

令 A、B 和 C=5，为标量。你要求解决a*b=5它有无数个解。

根据上面提供的信息，一种方法是尽量减少函数g定义为

g(A,B) = ||AB-C||^2 = 轨迹((AB-C)*(AB-C))^2

使用牛顿法或准割线法 (BFGS)。
(您可以在此处轻松计算梯度)。M* 是 M 的转置，乘法是隐式的。(规范是 frobenius 规范......我删除了下划线 F，因为它没有正确显示)

由于这是一个固有的非线性问题，标准线性代数方法不适用。

如果您提供更多信息，我也许可以提供更多帮助。

---

还有一些问题:我认为问题在于没有更多信息，没有“最佳解决方案”。我们要确定我们正在寻找的更具体的想法。一个想法，可能是一个“最稀疏”的解决方案。这个区域是一个热门的研究领域，拥有一些最优秀的人才世界在这里工作(参见 Terry Tao 等人关于核规范的工作)这个问题虽然容易处理，但仍然很难。

---

很遗憾，我还不能发表评论，所以我会在这里添加我的评论。如下所述，LM 是解决这个问题的好方法，而且只是一种方法。沿着牛顿式方法的路线优化问题或非线性求解问题。

这是一个想法，使用您上面给出的示例:让我们定义两个新向量，V 和 U，每个都有 21 个元素(定义的数量完全相同C) 中的元素。

V 正是 C​​ 的已知元素，列有序，所以(在 ​​matlab 表示法中)

V = [C11; C21; C31; C51; C12; .... ; C55]

U 是一个向量，它是乘积 AB 的列排序，LEAVING OUT THE与“？”对应的元素在矩阵 C 中。将所有变量收集到 x我们有
x = [a11, a21, .. a52, b11, b21 ..., b25]。

f(x) = U(如上定义)。

我们现在可以尝试使用您最喜欢的非线性最小二乘法求解 f(x)=V。

顺便说一句，虽然下面的海报推荐了模拟退火，但我推荐反对。它存在一些问题，但它是一种启发式方法。当你有强大的分析方法，例如 Gauss-Newton 或 LM，我说使用它们。 (在我自己的经验就是)