machine-learning - 逻辑回归中成本函数的局部和全局最小值

Question

我误解了逻辑回归公式推导中最小值背后的想法。

这个想法是尽可能增加假设(即尽可能接近 1 的正确预测概率)，这反过来又需要尽可能最小化成本函数 $J(\theta)$。

现在我被告知，要使这一切发挥作用，成本函数必须是凸函数。我对凸性的理解要求不存在最大值，因此只能有一个最小值，即全局最小值。事实真的如此吗？如果不是，请解释为什么不。此外，如果情况并非如此，则意味着成本函数中可能存在多个最小值，这意味着多组参数产生越来越高的概率。这可能吗？或者我可以确定返回的参数是指全局最小值，因此是最高概率/预测吗？

Answer 1

我们使用凸成本函数的事实并不能保证凸问题。

凸成本函数和凸方法之间存在区别。

您遇到的典型成本函数(交叉熵、绝对损失、最小二乘)被设计为凸函数。

但是，问题的凸性还取决于您使用的 ML 算法的类型。

线性算法(线性回归、逻辑回归等)会给你凸解，也就是说它们会收敛。然而，当使用具有隐藏层的神经网络时，不再保证得到凸解。

因此，凸性是描述你的方法的一种度量，而不仅仅是你的成本函数!

LR是一种线性分类方法，所以每次使用它时你都应该得到一个凸优化问题!然而，如果数据不是线性可分的，它可能不会给出解决方案，并且在这种情况下它肯定不会给你一个好的解决方案。