tensorflow - 将 CudnnGRU 参数转换为正常权重和偏差

Question

我正在使用 CudnnGRU来自 tensorflow.contrib.cudnn_rnn 的类(class)，训练速度要快得多。但是，在训练后，我需要将模型移至不基于 CUDA 的系统。那么我该如何转换 CudnnGRU参数为正常权重和偏差，然后将它们加载到 tf.contrib.cudnn_rnn.CudnnCompatibleGRUCell ?

Answer 1

在 Tensorflow 2 版本中 CuDNNGRU和正常 Tensorflow基于 GRU已被带到同一层 tf.keras.layers.GRU .
基于可用的运行时硬件和约束，层将选择 cuDNN或 TensorFlow基于的实现。
如果 GPU 可用并且该层的所有参数都满足 CuDNN 的要求内核(详见下文)，该层将使用快速 cuDNN执行。
使用要求 cuDNN实现是:

激活 == tanh

recurrent_activation == sigmoid

recurrent_dropout == 0

展开是假的

use_bias 为真

reset_after 为真

输入，如果使用掩码，严格右填充。

在最外层上下文中启用了急切执行。