尽管输入不同，PHP Fann 仍给出相同的结果

Question

我正在尝试 FANN PHP 模块，并且能够成功运行此处的示例 http://php.net/manual/en/fann.examples-1.php

我将其修改为能够处理 5 个输入，并使用任意函数进行输出。我生成了 1000 个训练数据并运行神经网络训练。然而，经过测试，不同输入的输出有重复的结果。

这是训练数据的片段。函数为$x = round($a + $b * $c/$d - $e, 2)。所以 35 + 33 * 31/25 - 48 = 27.92

1000 5 1
35 33 31 25 48
27.92
74 3 1 26 94
-19.88
7 62 86 48 71
47.08
31 73 68 94 95
-11.19
100 87 44 75 43
108.04
72 25 62 39 57
54.74
...

这是我的训练代码。我使用 FANN_LINEAR 因为其他激活函数的输出为 0、1 或 -1。我读到 FANN_LINEAR 是无界的。所以这应该适用，对吗？

<?php
$num_input = 5;
$num_output = 1;
$num_layers = 6;
$num_neurons_hidden = 4;
$desired_error = 0.0001;
$max_epochs = 500000;
$epochs_between_reports = 1000;

$ann = fann_create_standard($num_layers, 5, 5, 5, 5, 5, 1);

if ($ann) {
    fann_set_activation_function_hidden($ann, FANN_LINEAR);
    fann_set_activation_function_output($ann, FANN_LINEAR);

    $filename = dirname(__FILE__) . "/xor.data";
    if (fann_train_on_file($ann, $filename, $max_epochs, $epochs_between_reports, $desired_error))
        fann_save($ann, dirname(__FILE__) . "/xor_float.net");

    fann_destroy($ann);
}

这是我的测试代码

<?php
$train_file = (dirname(__FILE__) . "/xor_float.net");
if (!is_file($train_file))
    die("The file xor_float.net has not been created! Please run simple_train.php to generate it");

$ann = fann_create_from_file($train_file);
if (!$ann)
    die("ANN could not be created");

$a = mt_rand(1, 100);
$b = mt_rand(1, 100);
$c = mt_rand(1, 100);
$d = mt_rand(1, 100);
$e = mt_rand(1, 100);

echo "Expecting $a $b $c $d $e => ".round($a + $b * $c / $d - $e, 2)."\n\n";

$input = array($a, $b, $c, $d, $e);
$calc_out = fann_run($ann, $input);
echo "Result: ".print_r($calc_out, true);
fann_destroy($ann);

这就是奇怪的地方。我尝试多次运行此代码，但结果是相同的

fann$ php test2.php 
Expecting 94 67 95 40 85 => 168.13

Result: Array
(
    [0] => 89.329223632812
)
fann$ php test2.php 
Expecting 53 43 56 64 64 => 26.63

Result: Array
(
    [0] => 89.329223632812
)
fann$ php test2.php 
Expecting 18 85 57 94 30 => 39.54

Result: Array
(
    [0] => 89.329223632812
)

您能否给我一些指导来实现我的目标，即使用 FANN 逼近任意函数。我需要增加训练数据吗？增加层数，还是每层增加节点？我是否使用其他激活函数？

Answer 1

乍一看，您的网络似乎陷入了某种权重配置。这意味着权重通常为 initialized to small values around 0 ，开始更改它们的值以更好地适应所需的输出。由于这些变化很小，因此有可能在经过多个训练周期后，它们要么没有“移动足够”来找到一个很好的值组合，要么保持在局部最小值。有很多可能的原因(或者只是需要考虑的事情):

• 与权重的初始值(~范围 [-1,1])相比，网络和训练算法必须处理的输入和输出值相对较大(~范围 [-20,100]) )。最简单的解决方案是 normalize输入和输出 A) 小，B) 以 0 为中心。

• 激活函数FANN_LINEAR没有上限和下限。这可能是好事，但也可能导致分歧。一种选择是使用 FANN_SIGMOID_SYMMETRIC ，它有限制，但也有一个接近线性的过渡区域。它适用于标准化的输入和输出。

• 有时，动量和学习率的值可能会导致学习效果不佳。为了进行一些诊断，您可能需要绘制 learning error curve训练时期的错误。当然，这有点费力，因为您需要单独训练每个时期( fann_train_epoch 而不是 fann_train_on_file )。

• 最后。我没有大型网络的经验，但我可以想象单个隐藏层可以学习这样的问题。为什么不尝试一下呢？固定 1 个隐藏层的数量，只是在方程中放入越来越多的参数已经足够困难了;)

嗯，希望有帮助:)享受你的网带来的乐趣!