python - 在评估 TensorFlow 模型时，如何在单个前向调用中查看特定隐藏层的值？

Question

我定义一个简单的顺序模型如下:

m = tf.keras.models.Sequential([
    tf.keras.layers.Dense(10, input_shape=(3,), name='fc1', activation='relu'),
    tf.keras.layers.Dense(3, input_shape=(3,), name='fc2'),
])

m.summary()

Model: "sequential_6"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
fc1 (Dense)                  (None, 10)                40        
_________________________________________________________________
fc2 (Dense)                  (None, 3)                 33        
=================================================================
Total params: 73
Trainable params: 73
Non-trainable params: 0
_________________________________________________________________

现在，我得到一个隐藏层layer_fc1，如下所示:

layer_fc1 = m.get_layer('fc1')
layer_fc1
<tensorflow.python.keras.layers.core.Dense at 0x7f6fcc7d9eb8>

现在，我想在评估这个模型时看到fc1层的值。

单独前向调用中整个网络和layer_fc1的评估如下:

t = tf.random.uniform((1, 3))

m(t)
<tf.Tensor: id=446892, shape=(1, 3), dtype=float32, numpy=array([[ 0.0168661 , -0.12582873, -0.0308626 ]], dtype=float32)>

layer_fc1(t)
<tf.Tensor: id=446904, shape=(1, 10), dtype=float32, numpy=
array([[0.        , 0.        , 0.00877494, 0.05680769, 0.08027849,
        0.12362152, 0.        , 0.        , 0.22683921, 0.17538759]],
      dtype=float32)>

那么，有没有什么方法可以通过使用 m(t) 进行一次前向调用，我也可以获得该隐藏层的值？这样，计算会更加高效。

Answer 1

您可以使用功能性 API 轻松完成此操作，如下所示:

inpt = tf.keras.layers.Input(shape=(3,))
fc1_out = tf.keras.layers.Dense(10, name='fc1', activation='relu')(inpt)
fc2_out = tf.keras.layers.Dense(3, name='fc2')(fc1_out)
m = tf.keras.models.Model(inputs=inpt, outputs=[fc2_out, fc1_out])

t = tf.random.uniform((1,3))
m(t)

它给出了您正在寻找的输出:

[<tf.Tensor: id=149, shape=(1, 3), dtype=float32, numpy=array([[-0.20491418, -0.33935153,  0.07777037]], dtype=float32)>,
 <tf.Tensor: id=145, shape=(1, 10), dtype=float32, numpy=
 array([[0.        , 0.5071918 , 0.        , 0.24756521, 0.05489198,
         0.31997102, 0.        , 0.23788954, 0.01050918, 0.24083027]],
       dtype=float32)>]

我对 Sequential API 不太熟悉，但我希望这在 Sequential API 中是不可能的，因为对我来说，这不是一个从输入到输出一层跟随另一层的顺序模型。