machine-learning - 人工神经网络 RELU 激活函数和梯度

Question

我有一个问题。我观看了有关用 C++ 实现人工神经网络的非常详细的教程。现在，我对神经网络的工作原理以及如何实际编程和训练神经网络有了更多的基本了解。

因此，在本教程中，使用双曲正切来计算输出，显然还使用其导数来计算梯度。不过，我想转到另一个职位。特别是 Leaky RELU(以避免神经元死亡)。

我的问题是，它指定该激活函数应仅用于隐藏层。对于输出层，应使用不同的函数(softmax 或线性回归函数)。在教程中，这个人教神经网络成为一个异或处理器。那么这是分类问题还是回归问题？

我尝试用谷歌搜索两者之间的区别，但我不太清楚 XOR 处理器的类别。这是分类问题还是回归问题？因此，我实现了 Leaky RELU 函数及其导数，但我不知道是否应该在输出层使用 softmax 还是回归函数。

另外，为了重新计算输出梯度，我使用 Leaky RELU 的导数(目前)，但在这种情况下我也应该使用 softmax 的/回归导数吗？

提前致谢。

Answer 1

I tried to google the difference between the two, but I can't quite grasp the category for the XOR processor. Is it a classification or a regression problem?

简而言之，分类是针对离散目标的，回归是针对连续目标的。如果是浮点运算，就会遇到回归问题。但这里 XOR 的结果是 0 或 1，所以它是一个二元分类(Sid 已经建议)。您应该使用 softmax 层(或 sigmoid function ，它特别适用于 2 个类)。请注意，输出将是概率向量，即实值，用于选择离散目标类别。

Also for recalculating the output gradients I use the Leaky RELU's derivative(for now) but in this case should I use the softmax's/regression derivative as well?

正确。对于输出层，您需要 cross-entropy loss函数，对应于softmax层，它是向后传递的导数。如果存在仍然使用 Leaky ReLu 的隐藏层，对于这些特定层，您还需要相应的 Leaky ReLu 导数。

强烈推荐this post on backpropagation details .