C# Encog 神经网络——尽管神经网络的整体误差很低，但预期输出与实际误差相去甚远

Question

我已经尝试让 Encog 运行几天了。

我的数据包含 4 个输入变量(1 到 1000 之间)和 1 个输出变量(-30 到 30 之间)。我正在使用大约 50,000 行数据进行训练。

数据被归一化(对于 tanh 激活函数，在 -1 和 1 之间)，然后将其传递到具有以下结构和训练的神经网络:

 Network.AddLayer(new BasicLayer(null, true, 4));
 Network.AddLayer(new BasicLayer(new ActivationTANH(), true, 8));
 Network.AddLayer(new BasicLayer(new ActivationTANH(), false, 1));
 Network.Structure.FinalizeStructure();
 Network.Reset();

 IMLDataSet trainingData = new BasicMLDataSet(Input.ToArray(), ExpectedOutput.ToArray());

 IMLTrain train = new ResilientPropagation(Network, trainingData);

 int epoch = 1;

 do
 {
     train.Iteration();
     Console.WriteLine(@"Epoch #" + epoch + @" Error:" + train.Error);
     epoch++;
 } while (train.Error > 0.024);

程序然后输出每一行的预期输出以及神经网络的实际输出。这是输出的屏幕截图(几行): http://i.imgur.com/UVWCOis.png

如您所见，在输出此输出之前，误差(神经网络对所有行的平均误差)必须低于 0.024。但许多预期和实际输出存在大量错误。

我认为神经网络对传播不够敏感。看起来神经网络的实际输出都非常接近，我相信是因为它们没有偏离初始随机权重太远。

谁能建议我如何解决这个问题？

我曾尝试减小输入的大小(我使用了 50)，我也尝试过消除偏差，这两种方法都会导致类似的结果。

Answer 1

没有看到您的数据，我无法确定差异的来源。我怀疑某些数据元素的错误率比其他元素高得多。如果您使用此方法，它将为您提供有关如何计算错误以及每个元素在处理数据时的“当前错误”的详细信息。如果您的数据集很大，这将生成相当多的输出。

    public static void errorDiagnostic(BasicNetwork network, MLDataSet dataSet) {
    int count = 0;
    double totalError = 0;

    System.out.println("Network error: " + network.calculateError(dataSet));


    for(MLDataPair pair : dataSet) {
        MLData actual = network.compute(pair.getInput());
        System.out.println("Evaluating element " + count + " : " + pair.getInput().toString());

        for(int i=0;i<pair.getIdeal().size();i++) {
            double delta = Math.abs(actual.getData(i) - pair.getIdeal().getData(i));
            totalError += delta*delta;
            count++;
            double currentError = totalError/count;
            System.out.println("\tIdeal: " + pair.getIdeal().getData(i) + ", Actual: " + actual.getData(i) + ", Delta: " + delta + ", Current Error: " + currentError);

        }
    }
}

例如，经过训练的 XOR(来自 Encog hello world 应用程序)的输出是:

    Network error: 0.009643582111728128
Evaluating element 0 : [BasicMLData:0.0,0.0]
    Ideal: 0.0, Actual: 0.10384251352940682, Delta: 0.10384251352940682, Current Error: 0.01078326761610504
Evaluating element 1 : [BasicMLData:1.0,0.0]
    Ideal: 1.0, Actual: 0.9109458503325736, Delta: 0.08905414966742642, Current Error: 0.009356954594546711
Evaluating element 2 : [BasicMLData:0.0,1.0]
    Ideal: 1.0, Actual: 0.8914073581830911, Delta: 0.10859264181690886, Current Error: 0.01016875701528963
Evaluating element 3 : [BasicMLData:1.0,1.0]
    Ideal: 0.0, Actual: 0.08982236581744897, Delta: 0.08982236581744897, Current Error: 0.009643582111728128

这让您可以看到每个元素对错误的贡献程度。