neural-network - 使用相同的数据集重复训练

Question

我最近一直在学习 TensorFlow 并且我正在尝试将具有以下格式的网络放在一起:

n_inputs = 16
n_hidden = 64*2
n_outputs = 3

x = tf.placeholder(tf.float32, shape=[1,n_inputs])
W = tf.Variable(tf.truncated_normal([n_inputs, n_hidden]))
b = tf.Variable(tf.zeros([n_hidden]))
hidden_layer = tf.nn.relu(tf.matmul(x, W) + b)

W2 = tf.Variable(tf.truncated_normal([n_hidden, n_outputs]))
b2 = tf.Variable(tf.zeros([n_outputs]))

logits = tf.matmul(hidden_layer, W2) + b2

我只有 1784 组训练数据，重复使用这些数据重复我的训练是否有效？我猜想如果重复太多次，它会导致对训练数据的过度拟合。

我目前正在这样训练:

print "Training"
for i in range(100):
    errs = []
    for xt, yt in zip(train[:n_dat-50], test[:n_dat-50]):
        _, err = sess.run([train_step, cost], feed_dict={x: [xt], y_: [yt]})
        errs.append(err)
    print "Error: %.5f" % np.mean(errs)

我也在研究使用 L2 正则化和 Dropouts 来帮助改进分类。任何其他改进低水平数据训练的技巧都会非常有帮助。

Answer 1

您可以考虑添加噪音。只需在您的输入中添加随机的东西(也许噪声具有相同的均值和方差 - 取决于)。这可以防止过度拟合并为您提供“更多”训练数据(确保将一些数据放在一边，以便您验证广义训练是否成功)。

此外，有时，可以创建遵循相同逻辑进行某些预训练的人工数据集。