machine-learning - 向线性 SVM/逻辑回归目标函数添加仿射项

Question

我目前正在解决一个问题，我必须解决 L2 正则化逻辑回归或 L2-reg 线性 SVM 问题，其中我添加了仿射项。

所以我的问题是:

min_ w {C*sum_i max(1-w*x_i*y_i,0) + 0.5*||w||^2_2 + w * v }

其中 v 是常数向量。

当然这是一个凸问题，可以用通常的方法来解决，但是我必须解决很多这种类型的大问题，所以我非常希望使用标准库，例如liblinear.

我的问题是，有没有办法转换数据 x、标签 y 或权重因子 C(可能为每个实例转换为不同的 C_i)，使得这个问题相当于标准铰链损失SVM 还是逻辑回归问题？

Answer 1

我想不出一种方法可以将它变成可以由 liblinear 之类的东西处理的东西。但是，您可以使用通用切割平面优化库之一轻松解决此优化问题。您所要做的就是编写代码来计算次梯度的元素(在您的情况下就是 w + v - Csum_i x_iy_i)和目标值。然后切割平面例程可以找到最佳 w。

Shogun中有一个CPA优化器还有 dlib 中的一个。我没用过Shogun的版本，但是我用过dlib中的版本解决了很多问题(我也是dlib的作者)。