python - 如何在我的模型中添加 tf.keras.layers.AdditiveAttention？

Question

我正在研究机器语言翻译问题。我使用的模型是:

    Model = Sequential([
          Embedding(english_vocab_size, 256, input_length=english_max_len, mask_zero=True),
          LSTM(256, activation='relu'),
          RepeatVector(german_max_len),
          LSTM(256, activation='relu', return_sequences=True),
          Dense(german_vocab_size, activation='softmax')
    ])

在这里， english_vocab_size和 english_max_len分别是英语词汇中的英语单词总数和每个英语句子中的单词数。 german_vocab_size也是如此和 german_max_len .
现在，我如何添加 tf.keras.layers.AdditiveAttention此模型中的图层？
编辑 - 我尝试了很多来找到实现 tf.keras.layers.AdditiveAttention 的好教程在 nlp 任务上分层，但找不到任何。所以，我想如果有人可以解释我如何放置 tf.keras.layers.AdditiveAttention在这个模型中，这个人会是第一个对如何使用 tf.keras.layers.AdditiveAttention 给出非常清晰的解释的人。因为它会非常清楚地实现如何使用 tf.keras.layers.AdditiveAttention层 !

Answer 1

这将帮助您从上一个链接
How to build a attention model with keras?

context_vector, attention_weights = Attention(32)(lstm, state_h)

或者
这是如何使用 Luong-style attention:

attention = tf.keras.layers.Attention()([query, value])

和 Bahdanau 式的关注:

attention = tf.keras.layers.AdditiveAttention()([query, value])

改编版本:

weights = tf.keras.layers.Attention()([lstm, state_h])