带有 S 型神经元的 OpenCV MLP，输出范围

Question

我已经在 SO 和 google 上搜索了以下问题的答案，但没有找到任何东西，所以这是我的情况:

我想实现一个学习一些相似函数的 MLP。我有训练和测试样本以及 MLP 设置和运行。我的问题是如何将教师输出提供给网络(从哪个值范围)。

这是我的代码的相关部分:

CvANN_MLP_TrainParams params(
    cvTermCriteria(CV_TERMCRIT_ITER+CV_TERMCRIT_EPS, 1000, 0.000001),
    CvANN_MLP_TrainParams::BACKPROP,
    0.1,
    0.1);

Mat layers = (Mat_<int>(3,1) << FEAT_SIZE, H_NEURONS, 1);

CvANN_MLP net(layers, CvANN_MLP::SIGMOID_SYM, 1, 1);

int iter = net.train(X, Y, Mat(), Mat(), params);

net.predict(X_test, predictions);

输入和隐藏神经元的数量在其他地方设置，网络有 1 个输出神经元。 X, Y, X_test 是包含训练和测试样本的 Mats，这里没有问题。问题是，我的 Y 必须来自什么值范围以及预测将来自什么值范围。

在documentation我发现了以下语句:

用于训练:

If you are using the default cvANN_MLP::SIGMOID_SYM activation function then the output should be in the range [-1,1], instead of [0,1], for optimal results.

因为我没有使用默认的 sigmoid 函数(alpha=0 和 beta=0 的函数)，所以我提供了来自 [0,1] 的 Y。这是对的，还是它们的意思是“默认 sigmoid 函数”？我问这个，因为对于预测，他们明确提到了 alpha 和 beta:

If you are using the default cvANN_MLP::SIGMOID_SYM activation function with the default parameter values fparam1=0 and fparam2=0 then the function used is y = 1.7159*tanh(2/3 * x), so the output will range from [-1.7159, 1.7159], instead of [0,1].

同样，由于我没有使用默认的 sigmoid 函数，我假设从 [0,1] 获得预测。到目前为止我说得对吗？

让我感到困惑的是我找到了 another question关于 OpenCV 的 sigmoid 函数的输出范围，表示范围必须是 [-1,1]。

现在真正的困惑来了:当我训练网络并让它做出一些预测时，我得到的值略大于 1(大约 1.03)，无论我的 Y 是来自 [0,1] 还是 [-1， 1].这两种情况都不应该发生。

谁能给我讲讲？我在这里遗漏了什么吗？

提前致谢。

编辑:

为了把事情说清楚，我想出了一个小例子来说明问题:

#include <iostream>
#include <opencv2/core/core.hpp>
#include <opencv2/ml/ml.hpp>

using namespace cv;
using namespace std;

int main() {

    int POS = 1;
    int NEG = -1;

    int SAMPLES = 100;
    float SPLIT = 0.8;

    float C_X = 0.5;
    float C_Y = 0.5;
    float R = 0.3;

    Mat X(SAMPLES, 2, CV_32FC1);
    Mat Y(SAMPLES, 1, CV_32FC1);

    randu(X, 0, 1);

    for(int i = 0; i < SAMPLES; i++){
        Y.at<float>(i,0) = pow((X.at<float>(i,0) - C_X),2) + pow((X.at<float>(i,1) - C_Y),2) < pow(R,2) ? POS : NEG;
    }

    Mat X_train = X(Range(0, (int)(SAMPLES*SPLIT)), Range::all());
    Mat Y_train = Y(Range(0, (int)(SAMPLES*SPLIT)), Range::all());

    Mat X_test = X(Range((int)(SAMPLES*SPLIT), SAMPLES), Range::all());
    Mat Y_test = Y(Range((int)(SAMPLES*SPLIT), SAMPLES), Range::all());

    CvANN_MLP_TrainParams params(
                 cvTermCriteria(CV_TERMCRIT_ITER+CV_TERMCRIT_EPS, 1000, 0.000001),
                 CvANN_MLP_TrainParams::BACKPROP,
                 0.1,
                 0.1);

    Mat layers = (Mat_<int>(3,1) << 2, 4, 1);

    CvANN_MLP net(layers, CvANN_MLP::SIGMOID_SYM, 1, 1);
    net.train(X_train, Y_train, Mat(), Mat(), params);

    Mat predictions(Y_test.size(), CV_32F); 
    net.predict(X_test, predictions);

    cout << predictions << endl;

    Mat error = predictions-Y_test;
    multiply(error, error, error);

    float mse = sum(error)[0]/error.rows;

    cout << "MSE: " << mse << endl;

    return 0;
}

此代码从一个单位正方形中生成一组随机点，并根据它们是否在 C_X、C_Y 和 R 给出的圆内，为它们分配标签 POS 或 NEG。然后生成测试和训练集并且 MLP 已经过训练。现在我们有两种情况:

1. POS = 1，NEG = -1:

输出被提供给网络，因为它应该是 tanh 神经元(从 [-1,1])，我期望从该范围内进行预测。但我也得到类似 -1.018 或 1.052 的预测。在这种情况下，我的均方误差为 0.13071。

1. POS = 1，NEG = 0:

给出的输出就像据说是最优的(至少我是这样理解文档的)。因为我没有使用默认的 sigmoid 函数，所以我期望 [0,1] 的预测。但我也得到像 1.0263158 这样的值，甚至是负值。本例中的 MSE 在 0.0326775 时变得更好。

我知道，这个例子是一个分类问题，通常我会将值四舍五入到最接近的标签，但我想学习相似度函数并且必须依赖来自某个固定范围的预测。

Answer 1

我的回答晚了，所以我写这篇文章是为了其他有同样问题的人。

如果您在 ann_mlp.cpp 中看到 setActivationFunction() 和 calc_activ_func()当您将 fparam1、fparam2 设置为 0、0 时，sigmoid 返回值在 [-1.7159, 1.7159] 输出范围内。您可以通过调整 fparam1、fparam2 来更改斜率和范围。

这些函数称为对称 sigmoid，但它实际上计算 tanh。如果你想要真正的 sigmoid 函数，我认为你需要实现它。