libsvm - 如何理解LIBLINEAR中的偏置参数？

Question

我不明白LIBLINEAR API中bias参数的含义。为什么在训练时由用户指定？难道它不应该只是从分离超平面到原点的距离，这是学习模型的参数吗？

这来自自述文件:

struct problem
{
    int l, n;
    int *y;
    struct feature_node **x;
    double bias;
};

If bias >= 0, we assume that one additional feature is added to the end of each data instance.

这个附加功能是什么？

Answer 1

让我们看一下分离超平面的方程:

w_1 * x_1  + w_2 * x_2  + w_3 * x_3 + ... + w_bias * x_bias = 0

其中 x 是特征值，w 是训练后的“权重”。附加特征x_bias是一个常量，其值等于偏差。如果 bias = 0，您将得到一个穿过原点 (0,0,0,...) 的分离超平面。您可以想象很多情况，这样的超平面并不是最佳分隔符。

偏差值通过 w_bias 的缩放影响边距。因此，偏差是一个调整参数，通常与其他参数类似，通过交叉验证来确定。