python - 提取 3 个嵌入层的 Keras 连接层，但它是一个空列表

Question

我正在构建一个具有多个输入(实际上是 3 个)的 Keras 分类模型来预测一个输出。具体来说，我的 3 个输入是:

1. Actor
2. 剧情简介
3. 相关电影特色

输出:

1. 类型标签

Python代码(创建多个输入keras)

def kera_multy_classification_model():

    sentenceLength_actors = 15
    vocab_size_frequent_words_actors = 20001

    sentenceLength_plot = 23
    vocab_size_frequent_words_plot = 17501

    sentenceLength_features = 69
    vocab_size_frequent_words_features = 20001

    model = keras.Sequential(name='Multy-Input Keras Classification model')

    actors = keras.Input(shape=(sentenceLength_actors,), name='actors_input')
    plot = keras.Input(shape=(sentenceLength_plot,), name='plot_input')
    features = keras.Input(shape=(sentenceLength_features,), name='features_input')

    emb1 = layers.Embedding(input_dim = vocab_size_frequent_words_actors + 1,
                            # based on keras documentation input_dim: int > 0. Size of the vocabulary, i.e. maximum integer index + 1.
                            output_dim = Keras_Configurations_model1.EMB_DIMENSIONS,
                            # int >= 0. Dimension of the dense embedding
                            embeddings_initializer = 'uniform', 
                            # Initializer for the embeddings matrix.
                            mask_zero = False,
                            input_length = sentenceLength_actors,
                            name="actors_embedding_layer")(actors)
    encoded_layer1 = layers.LSTM(100)(emb1)

    emb2 = layers.Embedding(input_dim = vocab_size_frequent_words_plot + 1,
                            output_dim = Keras_Configurations_model2.EMB_DIMENSIONS,
                            embeddings_initializer = 'uniform',
                            mask_zero = False,
                            input_length = sentenceLength_plot,
                            name="plot_embedding_layer")(plot)
    encoded_layer2 = layers.LSTM(100)(emb2)

    emb3 = layers.Embedding(input_dim = vocab_size_frequent_words_features + 1,
                            output_dim = Keras_Configurations_model3.EMB_DIMENSIONS,
                            embeddings_initializer = 'uniform',
                            mask_zero = False,
                            input_length = sentenceLength_features,
                            name="features_embedding_layer")(features)
    encoded_layer3 = layers.LSTM(100)(emb3)

    merged = layers.concatenate([encoded_layer1, encoded_layer2, encoded_layer3])

    layer_1 = layers.Dense(Keras_Configurations_model1.BATCH_SIZE, activation='relu')(merged)

    output_layer = layers.Dense(Keras_Configurations_model1.TARGET_LABELS, activation='softmax')(layer_1)

    model = keras.Model(inputs=[actors, plot, features], outputs=output_layer)

    print(model.output_shape)

    print(model.summary())

    model.compile(optimizer='adam',
                  loss='sparse_categorical_crossentropy',
                  metrics=['sparse_categorical_accuracy'])

模型的结构

我的问题:

在一些训练数据上成功拟合和训练模型后，我想提取该模型的嵌入以供以后使用。在使用多输入 keras 模型之前，我的主要方法是训练 3 个不同的 keras 模型并提取 3 个形状为 100 的不同嵌入层。现在我有了多输入 keras 模型，我想提取串联的嵌入层 具有输出形状(无，300)。

虽然，当我尝试使用这个 python 命令时:

embeddings = model_4.layers[9].get_weights()
print(embeddings)

或

embeddings = model_4.layers[9].get_weights()[0]
print(embeddings)

我得到一个空列表(第一个代码示例)或者一个IndenError:列表索引超出范围(第二个代码示例)。

预先感谢您就此事提供的任何建议或帮助。请随时在评论中询问我可能错过的任何其他信息，以使这个问题更加完整。

注意:Python 代码和模型的结构也已呈现给之前回答的 question

Answer 1

连接层没有任何权重(它没有可训练的参数，正如您从模型摘要中看到的那样)，因此您的 get_weights() 输出为空。连接是一种操作。
对于您的情况，您可以在训练后获得各个嵌入层的权重。

model.layers[3].get_weights() # similarly for layer 4 and 5

或者，如果您想将嵌入存储在 (None, 300) 中，您可以使用 numpy 来连接权重。

out_concat = np.concatenate([mdoel.layers[3].get_weights()[0], mdoel.layers[4].get_weights()[0], mdoel.layers[5].get_weights()[0]], axis=-1)

虽然你可以获得连接层的输出张量:

out_tensor = model.layers[9].output
# <tf.Tensor 'concatenate_3_1/concat:0' shape=(?, 300) dtype=float32>