tensorflow - "relu"在 tf.nn.relu 中代表什么？

Question

在其 API documentation ，它说“计算整流线性”。

是 Re(ctified) L(inear)... 那么 U 是什么？

Answer 1

Re(ctified) L(inear) (U)nit

通常神经网络中的一个层有一些输入，比如一个向量，并将其乘以一个权重矩阵，即再次得到一个向量。

结果中的每个值(通常是浮点数)都被视为输出。然而，现在神经网络中的大多数层都涉及非线性，因此附加函数，你可能会说，增加了这些输出值的复杂性。长期以来，这些都是 sigmoids 和 tanhs。

但是最近人们使用一个函数，如果输入为负，则结果为 0，如果输入为 0 或正，则结果为输入本身。这个特定的附加函数(或更好的“激活函数”)称为 relu。