javascript - 如何正确设置 brain.js 神经网络

Question

我正在使用来自 http://archive.ics.uci.edu/ml/datasets/Auto+MPG 的 Auto MPG 训练集

我的代码是:

'use strict';
var brain, fs, normalizeData, trainNetwork, _;

_ = require('lodash');

brain = require('brain');

fs = require('fs');

trainNetwork = function(trainNetworkCb) {
  var net;
  net = new brain.NeuralNetwork();
  return fs.readFile('./data/autodata.csv', function(err, fileData) {
    var fileString, lines, trainingData;
    if (err) {
      return trainNetworkCb(err);
    }
    fileString = fileData.toString();
    lines = fileString.split('\n');
    trainingData = lines.splice(0, lines.length / 2);
    trainingData = _.map(trainingData, function(dataPoint) {
      var normalizedData, obj;
      normalizedData = normalizeData(dataPoint);
      obj = {
        input: normalizedData,
        output: {
          continuous: normalizedData.continuous
        }
      };
      delete obj.input.continuous;
      return obj;
    });
    net.train(trainingData, {
      log: true,
      logPeriod: 100,
      errorThresh: 0.00005
    });
    return trainNetworkCb(null, net);
  });
};

trainNetwork(function(err, net) {
  if (err) {
    throw err;
  }
  return fs.readFile('./data/autodata.csv', function(err, fileData) {
    var fileString, lines, testData;
    if (err) {
      return trainNetworkCb(err);
    }
    fileString = fileData.toString();
    lines = fileString.split('\n');
    testData = lines.splice(lines.length / 2);
    testData = _.filter(testData, function(point) {
      return point !== '';
    });
    testData = _.map(testData, function(dataPoint) {
      var normalizedData, obj;
      normalizedData = normalizeData(dataPoint);
      obj = {
        output: {
          continuous: normalizedData.continuous
        },
        input: normalizedData
      };
      delete obj.input.continuous;
      return obj;
    });
    return _.each(testData, function(dataPoint) {
      var output;
      output = net.run(dataPoint.input);
      console.log(output);
      console.log(dataPoint);
      return console.log('');
    });
  });
});

normalizeData = function(dataRow) {
  var cylinders, dataSet, model_years, origins, row;
  dataSet = dataRow.split(',');
  dataSet = _.map(dataSet, function(point) {
    return Number(point);
  });
  row = {};
  cylinders = [5, 3, 6, 4, 8];
  _.each(cylinders, function(cylinder) {
    row["cylinder" + cylinder] = cylinder === dataSet[0] ? 1 : 0;
  });
  row.displacement = dataSet[1] / 500;
  row.horsepower = dataSet[2] / 500;
  row.weight = dataSet[3] / 10000;
  row.acceleration = dataSet[4] / 100;
  model_years = [82, 81, 80, 79, 78, 77, 76, 75, 74, 73, 72, 71, 70];
  _.each(model_years, function(model_year) {
    row["model_year" + model_year] = model_year === dataSet[5] ? 1 : 0;
  });
  origins = [2, 3, 1];
  _.each(origins, function(origin) {
    row["origin" + origin] = origin === dataSet[6] ? 1 : 0;
  });
  row.continuous = dataSet[7] / 100;
  return row;
};

我相信我正在正确地规范化一切。我将一半数据用于训练，另一半用于测试。据我所知，数据没有排序，所以哪一半用于哪一应该无关紧要。

但是在测试时我的错误相当大。通常按 10MPG 左右(30% 误差)。我做错了什么？

谢谢

Answer 1

您链接的数据集按车型年份排序；也许技术的急剧变化使引擎更有效率？神经网络依赖于训练期间的正确输出。我会尝试用除最后一行以外的所有内容来训练网络，然后使用它进行测试。你能给我链接你正在使用的csv文件吗？ normalizeData 函数没有给我们你想要的链接文件 ( http://archive.ics.uci.edu/ml/machine-learning-databases/auto-mpg/auto-mpg.data )

编辑:

似乎不管errorThresh您指定，大脑在训练运行中不会运行超过 20,000 次迭代。有几种方法可以解决这个问题。您可以指定 learningRate你的神经网络。将学习率提高到 0.6(默认值为 0.3)帮助我获得更准确的结果

net.train(trainingData, {
  log: true,
  logPeriod: 100,
  errorThresh: 0.00005,
  learningRate: 0.6
});

更高learningRate意味着更积极的权重调整，这在您没有运行尽可能多的迭代时有所帮助。

或者，您可以在选项对象中指定迭代总数(如果未指定，则默认为 20,000 - 参见 here)。

net.train(trainingData, {
  log: true,
  logPeriod: 100,
  errorThresh: 0.00005,
  iterations: 100000
});

大脑在 i < iterations && error > errorThresh 时停止训练评估为假。因此，请随意增加迭代次数以确保上述表达式变为假，因为 error低于您指定的 errorTresh (source)。