javascript - 如何使用 Node.js 和 convnetjs 从一排数字中深度学习并预测一个新值？

Question

我尝试使用 convnetjs让 Node.js 从 x,y 坐标中的一行数字中学习。目标是预测简单数字行中的下一个值。

首先是一个非常简单的行 [0,1,0,2,0,3,0,4,0,5,0,6] 也许稍后 sin 和 cos 数字行。

我不想深入学习深度学习 Material ，所以我使用的是 convnetjs。

到目前为止我试过了:

var convnetjs = require("./convnet-min.js");

// create a net out of it
var net = new convnetjs.Net();

var layer_defs = [];
layer_defs.push({type:'input', out_sx:1, out_sy:1, out_depth:1});
layer_defs.push({type:'fc', num_neurons:5, activation:'sigmoid'});
layer_defs.push({type:'regression', num_neurons:1});
var net = new convnetjs.Net();
net.makeLayers(layer_defs);

var my_data = [
    0,1,2,3,4,5,6,7,8,9,10,
    0,1,2,3,4,5,6,7,8,9,10,
    0,1,2,3,4,5,6,7,8,9,10,
    0,1,2,3,4,5,6,7,8,9,10,
    0,1,2,3,4,5,6,7,8,9,10,
    0,1,2,3,4,5,6,7,8,9,10,
    0,1,2,3,4,5,6,7,8,9,10,
    0,1,2,3,4,5,6,7,8
];

var x = new convnetjs.Vol(my_data);

var trainer = new convnetjs.SGDTrainer(net, {learning_rate:1.1, momentum:0.0, batch_size:1, l2_decay:0.001});

var think = function () {
    for (var i = 0; i < my_data.length; i++) {
        x.w[i] = my_data[i]; // Vol.w is just a list, it holds your data
        trainer.train(x, my_data[i]);
    }
}

for (var i = 0; i < 100; i++) {
    think();
    var predicted_values = net.forward(x);
    console.log('predicted value: ' + predicted_values.w[0]);
}

为了实现学习，我想预测下一个值，但我想知道(知道下一个值 [9])如何告诉培训师他做得不好、好还是非常好？

训练 x 以预测值的正确方法是什么？我想这不是微不足道的，因为预测值不会进入值 9 ^^ 的方向。

Answer 1

您需要为您的数据定义域空间输入。之后按照以下步骤操作:

• 根据先前定义的域创建网络(请阅读此文档以调整网络中的参数:convnetjs-doc)。
• 训练网络，也请引用convnetjs-doc以便为训练器的参数选择合适的值。

以下示例向您展示了一个假设域空间为 9 的网络(网络必须预测大小为 9 的一行的下一个值)。我使用相同的数据集进行训练 (my_data)，因此为了满足每个数据项中的域空间要求，我在 的训练过程中的每个步骤中都采用了大小为 9 的数组>my_data(使用 slice 函数)并假设每行的实际值是 my_data 中取大小为 9 的数组后的下一个值(如果数据集发生变化时，您应该采用不同的方法来创建满足相同域空间要求的项目)。

函数 learn 执行上述学习过程，var data = my_data.slice(i, i + d); 取一个大小为 d 的数组(本例中为 9)来自 my_data，从 i 开始，因此我们遍历数据训练集并获取大小为 9 的切片(以满足域空间要求)。之后我们得到 data 的真实值:var real_value = [my_data[i + d]]; 这是 中最后一个的值data，请注意，由于我们正在处理 regression，因此 real_value 必须是一个 LIST(有关更多详细信息，请参见 convnetjs-doc)。然后我们创建一个 Vol class var x = new convnetjs.Vol(data); 来存储数据，最后我们训练网络为之前创建的 Vol class 设置真实值 real_value trainer.train(x, real_value);。

当我们完成学习过程后，我们就可以预测一些值了，我们所要做的就是使用 Vol class 创建一个新的输入。并使用经过训练的网络进行预测。

这是代码:

var convnetjs = require('convnetjs');

// create a net out of it
var net = new convnetjs.Net();
var d = 9;
var layer_defs = [];
layer_defs.push({type:'input', out_sx:1, out_sy:1, out_depth:d});
layer_defs.push({type:'fc', num_neurons:10, activation:'sigmoid'});
layer_defs.push({type:'regression', num_neurons:1});
var net = new convnetjs.Net();
net.makeLayers(layer_defs);

var my_data = [
    0,1,2,3,4,5,6,7,8,9,10,
    0,1,2,3,4,5,6,7,8,9,10,
    0,1,2,3,4,5,6,7,8,9,10,
    0,1,2,3,4,5,6,7,8,9,10,
    0,1,2,3,4,5,6,7,8,9,10,
    0,1,2,3,4,5,6,7,8,9,10,
    0,1,2,3,4,5,6,7,8,9,10,
    0,1,2,3,4,5,6,7,8
];



var trainer = new convnetjs.SGDTrainer(net, {learning_rate:0.01, momentum:0.2, batch_size:1, l2_decay:0.001});

var learn = function () {
  for(var j = 0; j < 100; j++){
    for (var i = 0; i < my_data.length - d; i++) {
        var data = my_data.slice(i, i + d);
        var real_value = [my_data[i + d]];
        var x = new convnetjs.Vol(data);
        trainer.train(x, real_value);
        var predicted_values = net.forward(x);
        console.log("data: [" + data + "] -> value: " + real_value);
        console.log("prediction in learn stage is: " + predicted_values.w[0]);
    }
  }

}

var predict = function(data){
  var x = new convnetjs.Vol(data);
  var predicted_value = net.forward(x);
  return predicted_value.w[0];
}

learn();
var item = [0,1,2,3,4,5,6,7,8];
console.log("predicted value for [" + item + "] is: " + predict(item));

这些是一些示例输出:

predicted value for [3,4,5,6,7,8,9,10,0] is: 1.0789064579041727
predicted value for [0,1,2,3,4,5,6,7,8] is: 9.223386915148865
predicted value for [10,0,1,2,3,4,5,6,7] is: 8.430232430080627
predicted value for [1,2,3,4,5,6,7,8,9] is: 9.020852169040044
predicted value for [5,6,7,8,9,10,0,1,2] is: 3.0623065881421674
predicted value for [4,5,6,7,8,9,10,0,1] is: 2.208646113846295