machine-learning - 在简单的多层 FFNN 中，只有 ReLU 激活函数不收敛

Question

我正在学习 tensorflow 、深度学习并尝试各种激活函数。

我为 MNIST 问题创建了一个多层 FFNN。大部分基于tensorflow官方网站的教程，只是添加了3个隐藏层。

我实验过的激活函数有:tf.sigmoid、tf.nn.tanh、tf.nn.softsign、tf.nn.softmax、tf.nn.relu。只是tf.nn.relu不收敛，网络输出随机噪声(测试准确率约为10%)。以下是我的源代码:

import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)

x = tf.placeholder(tf.float32, [None, 784])

W0 = tf.Variable(tf.random_normal([784, 200]))
b0 = tf.Variable(tf.random_normal([200]))
hidden0 = tf.nn.relu(tf.matmul(x, W0) + b0)

W1 = tf.Variable(tf.random_normal([200, 200]))
b1 = tf.Variable(tf.random_normal([200]))
hidden1 = tf.nn.relu(tf.matmul(hidden0, W1) + b1)

W2 = tf.Variable(tf.random_normal([200, 200]))
b2 = tf.Variable(tf.random_normal([200]))
hidden2 = tf.nn.relu(tf.matmul(hidden1, W2) + b2)

W3 = tf.Variable(tf.random_normal([200, 10]))
b3 = tf.Variable(tf.random_normal([10]))
y = tf.matmul(hidden2, W3) + b3

y_ = tf.placeholder(tf.float32, [None, 10])

cross_entropy = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y_, logits=y))
train_step = tf.train.GradientDescentOptimizer(0.1).minimize(cross_entropy)
with tf.Session() as session:
    session.run(tf.global_variables_initializer())
    for _ in range(10000):
        batch_xs, batch_ys = mnist.train.next_batch(128)
        session.run(train_step, feed_dict={x: batch_xs, y_: batch_ys})
        if _ % 1000 == 0:
            correct_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(y_, 1))
            accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
            print(_, session.run(accuracy, feed_dict={x: mnist.test.images, y_: mnist.test.labels}))

    correct_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(y_, 1))
    accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
    print('final:', session.run(accuracy, feed_dict={x: mnist.test.images,
            y_: mnist.test.labels}))

代码输出如下:

0 0.098
1000 0.098
2000 0.098
3000 0.098
4000 0.098
5000 0.098
6000 0.098
7000 0.098
8000 0.098
9000 0.098
final: 0.098

如果将 tf.nn.relu 替换为其他激活函数，网络精度将逐渐提高(尽管最终精度不同)，这是预期的。

我在五月份的教科书/教程中读到，ReLU 应该是激活函数的第一个候选者。

我的问题是为什么 ReLU 在我的网络中不起作用？或者我的程序根本就是错误的？

Answer 1

您正在使用 Relu 激活函数，按如下方式计算激活，

最大(特征，0)

由于它输出最大值，这有时会导致梯度爆炸。

Gradientdecnt 优化器通过以下方式更新权重，

Δwij = −η∂Ei/∂wij

其中 η 是学习率，∂Ei/∂wij 是损失相对权重的偏导数。当最大值变得越来越大时，偏导数也会变大并导致梯度爆炸。因此，正如您在等式中观察到的那样，您需要调整学习率 (η) 来克服这种情况。

一个常见的规则是降低学习率，通常每次降低 10 倍。

对于您的情况，将学习率设置为 0.001 将会提高准确性。

希望这有帮助。