python - 使用 Keras，如何将 CuDNNLSTM 生成的权重加载到 LSTM 模型中？

Question

我基于 LSTM 层使用 Keras 开发了一个神经网络模型。为了提高 Paperspace(GPU 云处理基础设施)的速度，我用新的 CuDNNLSTM 切换了 LSTM 层。 层。然而，这仅适用于支持 GPU cuDNN 的机器。 PS:CuDNNLSTM 仅在 Keras master 上可用，在最新版本中不可用。

所以我生成了权重并将它们保存为云端的 hdf5 格式，我想在我的 MacBook 上本地使用它们。由于 CuDNNLSTM 层不可用，我只针对本地安装切换回 LSTM。

阅读此 tweet about CuDNN from @fchollet我认为它会工作得很好，只需将权重读回 LSTM 模型即可。

但是，当我尝试导入它们时，Keras 会抛出此错误:

Traceback (most recent call last):
{...}
tensorflow.python.framework.errors_impl.InvalidArgumentError: Dimension 0 in both shapes must be equal, but are 2048 and 4096 for 'Assign_2' (op: 'Assign') with input shapes: [2048], [4096].
{...}
ValueError: Dimension 0 in both shapes must be equal, but are 2048 and 4096 for 'Assign_2' (op: 'Assign') with input shapes: [2048], [4096]

用 h5cat 分析 hdf5 文件我可以看出这两个结构是不同的。

长话短说

我无法将 CuDNNLSTM 生成的权重加载到 LSTM 模型中。我做错事了吗？我怎样才能让他们无缝地工作？

这是我的模型:

SelectedLSTM = CuDNNLSTM if is_gpu_enabled() else LSTM
# ...
model = Sequential()
model.add(SelectedLSTM(HIDDEN_DIM, return_sequences=True, input_shape=(SEQ_LENGTH, vocab_size)))
model.add(Dropout(0.2))
model.add(SelectedLSTM(HIDDEN_DIM, return_sequences=False))
model.add(Dense(vocab_size))
model.add(Activation('softmax'))

model.compile(loss='categorical_crossentropy', optimizer='rmsprop')

Answer 1

原因是 CuDNNLSTM 层的 bias 是 LSTM 的两倍。这是因为 cuDNN API 的底层实现。您可以将以下等式(从 cuDNN 用户指南中复制)与常用的 LSTM 等式进行比较:

CuDNN 使用两个偏置项，因此偏置权重的数量增加了一倍。要将其转换回 LSTM 使用的内容，需要对两个偏差项求和。

我已经提交了 PR进行转换并将其合并。你可以从GitHub安装最新的Keras，应该可以解决加载权重的问题。