tensorflow - 是否可以创建自定义 Tensorflow GRU/LSTM 单元？

Question

我想修改 tf.nn.rnn_cell.GRUCell 并向其添加另一个门用于第二个输入，这样除了 z - 更新门和r – 将有第三个重置门 g - 网络第二个输入的自定义门，类似于 Kiddon et al. 2016和 Wen et al. 2015 .

我设法为 Torch7 GRU 单元做到了这一点，它成功地解决了特定的序列建模问题。我怀疑这在 Tensorflow 中实现起来并不简单，但也许我错了。有人可以提供有关 Tensorflow 中自定义单元格的更多详细信息吗？

Answer 1

这是可能的。如图所示 this文章中，LSTM和GRU单元只是非线性和算术运算的排列。

This repository包含用于 pyTorch 的自定义 LSTM、GRU 和其他 RNN 单元实现。

This repository包含 TensorFlow 的自定义 LSTM 和 GRU 实现。