machine-learning - SVM - 能量与损失、正则化与成本函数之间的差异

Question

我正在阅读A Tutorial on Energy Based Learning我试图理解 SVM 上下文中上述所有术语之间的区别。这个link总结了损失、成本和目标函数之间的差异。根据我的理解，

目标函数:我们想要最小化的东西。例如，SVM 的 ||w||^2。

损失函数:预测和标签之间的惩罚，也相当于正则化项。示例是 SVM 中的铰链损失函数。

成本函数:结合了目标函数和损失函数的通用公式。

现在，第一个链接指出铰链函数是 max(0, m + E(W,Yi,Xi) - E(W,Y,X)) 即它是一个函数的能量项。这是否意味着 SVM 的能量函数是 1 - y(wx + b) ？能量函数是损失函数的一部分吗？损失+目标函数是成本函数的一部分？

对这 4 个术语的简洁总结将极大地帮助我的理解。另外，如果我的理解有误，请指正。这些术语听起来很困惑。谢谢!

Answer 1

Objective function: Something we want to minimize. For example ||w||^2 for SVM.

目标函数 - 顾名思义 - 优化目标。它可以是我们想要最小化(如成本函数)或最大化(如可能性)的东西。一般来说 - 衡量我们当前解决方案有多好的函数(通常通过返回一个实数)

Loss function: Penalty between prediction and label which is also equivalent to the regularization term. Example is the hinge loss function in SVM.

首先，从任何意义上来说，损失都不等于正则化。损失函数是模型和真实值之间的惩罚。这可以是类条件分布与真实标签的预测，因此也可以是数据分布与经验样本的预测，等等。

Regularization

正则化是一个术语、惩罚、措施，应该是对过于复杂的模型的惩罚。在机器学习中，或者通常在统计学中，当处理估计器时，您总是尝试平衡两个误差源:方差(来自过于复杂的模型、过度拟合)和偏差(来自过于简单的模型、糟糕的学习方法、拟合不足)。正则化是一种在优化过程中惩罚高方差模型的技术，以减少过度拟合的情况。换句话说 - 对于能够完美适应训练集的技术，重要的是要有一种禁止它的措施，以保持泛化能力。

Cost function: A general formulation that combines the objective and loss function.

成本函数只是一个最小化的目标函数。它可以由损失函数和正则化器的一些聚集组成。

Now, the 1st link states that the hinge function is max(0, m + E(W,Yi,Xi) - E(W,Y,X)) i.e. it is a function of the energy term. Does that mean that the energy function of the SVM is 1 - y(wx + b) ? Are energy functions are a part of a loss function. And a loss + objective function a part of the cost function ?

铰链损耗为max(0, 1 - y(<w,x> - b)) 。这里定义的并不是真正针对 SVM 的，而是针对一般因子图的，我强烈建议从基础知识开始学习 ML，而不是从高级技术开始。如果没有很好地理解机器学习的基础知识，就不可能理解本文。

展示 SVM 和命名约定的示例

C SUM_i=1^N max(0, 1 - y_i(<w, x_i> - b)) + ||w||^2

            \__________________________/    \_____/
                         loss            regularization
\_________________________________________________/
            cost / objective function