python - 从神经网络的不同成本函数和激活函数中进行选择

Question

最近我开始玩弄神经网络。我试图用 Tensorflow 实现一个 AND 门。我无法理解何时使用不同的成本和激活函数。这是一个基本的神经网络，只有输入层和输出层，没有隐藏层。

首先我尝试以这种方式实现它。正如你所看到的，这是一个糟糕的实现，但我认为它可以完成工作，至少在某种程度上是这样。所以，我只尝试了真正的输出，没有一个热门的真正输出。对于激活函数，我使用了 sigmoid 函数，而对于成本函数，我使用了平方误差成本函数(我认为它就是这样，如果我错了，请纠正我)。

我尝试使用 ReLU 和 Softmax 作为激活函数(具有相同的成本函数)，但它不起作用。我弄清楚了为什么它们不起作用。我还尝试了带有交叉熵成本函数的 sigmoid 函数，它也不起作用。

import tensorflow as tf
import numpy

train_X = numpy.asarray([[0,0],[0,1],[1,0],[1,1]])
train_Y = numpy.asarray([[0],[0],[0],[1]])

x = tf.placeholder("float",[None, 2])
y = tf.placeholder("float",[None, 1])

W = tf.Variable(tf.zeros([2, 1]))
b = tf.Variable(tf.zeros([1, 1]))

activation = tf.nn.sigmoid(tf.matmul(x, W)+b)
cost = tf.reduce_sum(tf.square(activation - y))/4
optimizer = tf.train.GradientDescentOptimizer(.1).minimize(cost)

init = tf.initialize_all_variables()

with tf.Session() as sess:
    sess.run(init)
    for i in range(5000):
        train_data = sess.run(optimizer, feed_dict={x: train_X, y: train_Y})

    result = sess.run(activation, feed_dict={x:train_X})
    print(result)

5000 次迭代后:

[[ 0.0031316 ]
[ 0.12012422]
[ 0.12012422]
[ 0.85576665]]

问题 1 - 是否有任何其他激活函数和成本函数可以为上述网络工作(学习)，而不改变参数(意思是不改变 W、x、b)。

问题 2 - 我从 StackOverflow 的一篇文章中读到 here :

[Activation Function] selection depends on the problem.

所以没有可以在任何地方使用的成本函数？我的意思是没有可用于任何神经网络的标准成本函数。正确的？请纠正我。

我还使用不同的方法实现了 AND 门，输出为 one-hot true。如您所见，train_Y [1,0] 表示第 0 个索引为 1，因此答案为 0。希望您能明白。

这里我使用了一个 softmax 激活函数，以交叉熵作为代价函数。作为激活函数的 Sigmoid 函数惨遭失败。

import tensorflow as tf
import numpy

train_X = numpy.asarray([[0,0],[0,1],[1,0],[1,1]])
train_Y = numpy.asarray([[1,0],[1,0],[1,0],[0,1]])

x = tf.placeholder("float",[None, 2])
y = tf.placeholder("float",[None, 2])

W = tf.Variable(tf.zeros([2, 2]))
b = tf.Variable(tf.zeros([2]))

activation = tf.nn.softmax(tf.matmul(x, W)+b)

cost = -tf.reduce_sum(y*tf.log(activation))

optimizer = tf.train.GradientDescentOptimizer(0.5).minimize(cost)

init = tf.initialize_all_variables()

with tf.Session() as sess:
    sess.run(init)
    for i in range(5000):
        train_data = sess.run(optimizer, feed_dict={x: train_X, y: train_Y})

    result = sess.run(activation, feed_dict={x:train_X})
    print(result)

5000 次迭代后

[[  1.00000000e+00   1.41971401e-09]
 [  9.98996437e-01   1.00352429e-03]
 [  9.98996437e-01   1.00352429e-03]
 [  1.40495342e-03   9.98595059e-01]]

问题 3 那么在这种情况下我可以使用什么代价函数和激活函数呢？我如何理解我应该使用哪种类型的成本和激活函数？有没有标准的方式或规则，或者只是经验？我是否必须以蛮力的方式尝试每个成本和激活功能？我找到了答案here .但我希望得到更详细的解释。

问题 4 我注意到需要多次迭代才能收敛到接近准确的预测。我认为收敛率取决于学习率(使用太大会错过解决方案)和成本函数(如果我错了，请纠正我)。那么，是否有任何最优方式(即最快)或成本函数来收敛到正确的解决方案？

Answer 1

我会稍微乱七八糟地回答你的问题，从更一般的答案开始，最后是针对你的特定实验的答案。

激活函数 不同的激活函数，其实有不同的属性。让我们首先考虑一个神经网络两层之间的激活函数。激活函数的唯一目的是用作非线性。如果你不在两层之间放置一个激活函数，那么两层放在一起不会比一层更好，因为它们的效果仍然只是一个线性变换。很长一段时间以来，人们都在使用 sigmoid 函数和 tanh，几乎可以任意选择，其中 sigmoid 更受欢迎，直到最近，当 ReLU 成为主要的 nonleniarity 时。人们在层之间使用 ReLU 的原因是因为它是非饱和的(并且计算速度也更快)。想想 sigmoid 函数的图形。如果x的绝对值很大，那么 sigmoid 函数的导数很小，这意味着当我们向后传播误差时，误差的梯度会在我们返回层时很快消失。使用 ReLU 的导数是 1对于所有正输入，因此激活单元根本不会改变那些激发的神经元的梯度，也不会减慢梯度下降。

对于网络的最后一层，激活单元也取决于任务。对于回归，您将需要使用 sigmoid 或 tanh 激活，因为您希望结果介于 0 和 1 之间。对于分类，您将只希望您的一个输出为 1，所有其他输出为零，但没有可区分的方法来实现正是如此，所以您将需要使用 softmax 来近似它。

你的例子。现在让我们看看你的例子。您的第一个示例尝试计算 AND 的输出采用以下形式:

sigmoid(W1 * x1 + W2 * x2 + B)

请注意 W1和 W2将始终收敛到相同的值，因为 ( x1 , x2 ) 的输出应该等于 ( x2 , x1 ) 的输出。因此，您要拟合的模型是:

sigmoid(W * (x1 + x2) + B)

x1 + x2只能取三个值之一(0、1 或 2)并且您想返回 0对于 x1 + x2 < 2 的情况1 表示 x1 + x2 = 2 时的情况.由于 sigmoid 函数相当平滑，它将采用非常大的值 W和 B使输出接近期望值，但由于学习率小，它们无法快速达到那些大值。在您的第一个示例中提高学习率将提高收敛速度。

您的第二个示例收敛得更好，因为 softmax函数擅长使一个输出恰好等于 1和所有其他人到0 .由于这正是您的情况，因此它确实很快收敛。请注意 sigmoid最终也会收敛到好的值，但需要更多的迭代(或更高的学习率)。

使用什么。现在到最后一个问题，如何选择要使用的激活函数和成本函数。这些建议适用于大多数情况:

1. 如果你做分类，使用softmax对于最后一层的非线性和cross entropy作为成本函数。

2. 如果你做回归，使用 sigmoid或 tanh对于最后一层的非线性和squared error作为成本函数。

3. 使用 ReLU 作为层之间的非线性。

4. 使用更好的优化器(AdamOptimizer、AdagradOptimizer)而不是 GradientDescentOptimizer ，或者使用动量来加快收敛速度​​，