java - Encog::非收敛错误率

Question

我正在使用(encog 3.3.0 库)构建用于图像识别的神经网络。我已将图像转换为 50x50 灰度，以避免神经网络混淆，因为我基本上想从图像中提取一些与颜色无关的特征。我有两个输出类。

我的输入::一个 CSV 文件，包含 318 行，每行有 2502 列。每行对应一个图像。前 2500 列是图像的 50x50 像素，最后 2 列是输出类。输入有 159 行，其中有 2500 个正常图像像素，然后 1,0 作为输出，159 行有 2500 个正常图像像素，然后 0,1 作为输出。 0 表示它不属于该类，1 表示它属于该类。

我的输入::318 行和 2502 列。下面是其中一行::

255,243,251,255,244,255,235,67,51,52,53,54,54,54,53,53,53,54,55,55,.......,53,54,54,53,53,52,54,54,54,54,54,54,54,54,57,57,5 7,57,57,57,57,57,57,57,0,1

最后的0,1代表输出类别。

我的层::我有 3 层。输入层有 2500 个神经元，隐藏层有 1000 个神经元，输出层有 2 个神经元。

问题:当我开始使用学习率 0.7 和动量 0.8 训练网络时，即使经过 100 次迭代，错误率也不会收敛并持续在 0.45-0.5 左右振荡。

下面是我的代码::

公共(public)类 image_recognition {

static final int COLUMNS = 2500;
static final int OUTPUT = 2;

public BasicNetwork network;
public double[][] input;
public double[][] ideal;
    public MLDataSet trainingSet;
public void createNetwork() {
    network = new BasicNetwork();
            //simpleFeedForward(int input, int hidden1, int hidden2, int output, boolean tanh) 
    network = EncogUtility.simpleFeedForward(image_recognition.COLUMNS, 1000, 0, image_recognition.OUTPUT, false);
    network.reset();
}

public void train() {
            //BasicMLDataSet(double[][] input, double[][] ideal) 
            trainingSet = new BasicMLDataSet(input, ideal);
            //Backpropagation(ContainsFlat network, MLDataSet training, double learnRate, double momentum) 
    final Backpropagation train = new Backpropagation(network, trainingSet, 0.7, 0.8);

    int epoch = 1;


    do {
        train.iteration();
        System.out.println("Epoch #" + epoch + " Error:" + train.getError());
                    long time = System.currentTimeMillis();
        System.out.println("after iteration time :: ");
                    System.out.println(time);
        epoch++;
    } while ((epoch < 5000) && (train.getError() > 0.3));


}

public double evaluate() {

    System.out.println("Neural Network Results:");
    for(MLDataPair pair: trainingSet ) {
        final MLData output = network.compute(pair.getInput());
                    String actualoutput1 = String.format("%.6f", output.getData(0));
                    String idealoutput1 = String.format("%.1f", pair.getIdeal().getData(0));
                    String actualoutput2 = String.format("%.6f", output.getData(1));
                    String idealoutput2 = String.format("%.1f", pair.getIdeal().getData(1));
        System.out.println("actual1 = " + actualoutput1  + ", actual2 = " + actualoutput2 + " ,ideal1 = " + idealoutput1 + "  ,ideal2 = " + idealoutput2  );
    }
    return 0;
}

public void load(String filename) throws IOException {
    int size = 0;

    ReadCSV csv;
    csv = new ReadCSV(filename, false, CSVFormat.DECIMAL_POINT);
    while (csv.next()) {
        size++;
    }
    csv.close();

    // allocate enough space
    input = new double[size][image_recognition.COLUMNS];
    ideal = new double[size][image_recognition.OUTPUT];

    // now load it
    int index = 0;
    csv = new ReadCSV(filename, false, CSVFormat.DECIMAL_POINT);
    while (csv.next()) {
                for(int i=0;i<image_recognition.COLUMNS;i++)
                {
                    input[index][i] = Double.parseDouble(csv.get(i));
                }
                for(int i=0;i<image_recognition.OUTPUT;i++)
                {
        ideal[index][i] = Double.parseDouble(csv.get(image_recognition.COLUMNS+i));
                }
        index++;
    }
    csv.close();

}

public static void main(final String args[]) {
    try {
        image_recognition prg = new image_recognition();
                    long b1 = System.currentTimeMillis();
                    System.out.println("before loading time :: ");
                    System.out.println(b1);
        prg.load("mycsv.csv");
                    long a1 = System.currentTimeMillis();
                    System.out.println("after loading, before creating network time :: ");
                    System.out.println(a1);
        prg.createNetwork();
                    long a2 = System.currentTimeMillis();
                    System.out.println("after creating network, before training time :: ");
                    System.out.println(a2);
        prg.train();
                    long a3 = System.currentTimeMillis();
                    System.out.println("after training, before testing time :: ");
                    System.out.println(a3);
                    prg.evaluate();
    } catch (Throwable t) {
        t.printStackTrace();
    }

}

}

我的输出::

纪元 #1 错误:0.48833917036172103

纪元 #2 错误:0.5

纪元 #3 错误:0.5

纪元 #4 错误:0.5

纪元 #5 错误:0.45956570930539425

......

纪元 #23 错误:0.4744859426599884

纪元 #24 错误:0.5

纪元 #25 错误:0.5

……

纪元＃49错误:0.5912731593753425

纪元 #50 错误:0.5

纪元＃51错误:0.5031968130459842

……

纪元＃71错误:0.5046318360708989

纪元＃72错误:0.49357338328109024

纪元 #73 错误:0.486820369587797

……

纪元＃103错误:0.5155249407683976

纪元 #104 错误:0.4835673679113441

纪元＃105错误:0.49407335871268354

......

纪元＃142错误:0.49038913805594664

纪元＃143错误:0.4660191340060382

请指导我为什么错误率不收敛。我也尝试运行它进行更多迭代，但它仍然没有收敛。我需要误差至少为 0.1 。

Answer 1

我想澄清一下。首先，你在这里使用哪个激活函数？其次激活函数的参数是什么？第三，源图片的初始大小是多少？第四，如果图片的初始尺寸不是平方，也许从50x50切换到70x30可能会很好