tensorflow2.0 - TensorFlow 2.0 中 tf.contrib.layers.layer_norm() 的替代品是什么？

Question

看来TF 2.0没有tf.contrib .那么，tf.contrib.layers.layer_norm()的替代品是什么？ ?我在 tensorflow_addons 中没有找到它也。

Answer 1

核心 TensorFlow 2.0 API 中的替换是 tf.keras.lyaers.LayerNormalizaton() .

请参阅文档:https://www.tensorflow.org/api_docs/python/tf/keras/layers/LayerNormalization?version=stable .

下面是一个简单的使用示例:

import numpy as np
import tensorflow as tf

model = tf.keras.Sequential()
model.add(tf.keras.layers.Dense(10, input_shape=[20], activation="relu"))
# Here is the LayerNormalization layer.
model.add(tf.keras.layers.LayerNormalization())
model.add(tf.keras.layers.Dense(1, activation="sigmoid"))
model.summary()

print(model.predict(np.ones([1, 20])))