python - tf.nn.relu 对比 tf.contrib.layers.relu？

Question

我看到这里记录了这个“tf.nn.relu”:https://www.tensorflow.org/api_docs/python/tf/nn/relu

但后来我在“model_fn”的这个页面上也看到了 tf.contrib.layers.relu 的用法: https://www.tensorflow.org/extend/estimators

后者似乎不像第一个那样以类似 API 的方式被描述，而只是在使用中呈现。

这是为什么？文档过时了吗？为什么有两个 - 一个是旧的并且不再受支持/将被删除？

Answer 1

它们不是一回事。

后者不是激活函数而是 fully_connected激活函数预设为nn.relu的层:

relu = functools.partial(fully_connected, activation_fn=nn.relu)
# ^                                                     |<   >|
# |_ tf.contrib.layers.relu                     tf.nn.relu_|

---

如果您阅读 contrib.layers 的文档，你会发现:

Aliases for fully_connected which set a default activation function are available: relu, relu6 and linear.

总而言之，tf.contrib.layers.relu是 fully_connected 的别名具有 relu 激活层，而 tf.nn.relu 是 Rectified Linear Unit 激活函数本身。