tensorflow - 如何将 rnn 的初始状态设置为 tensorflow 中的参数？

Question

使用时 dynamic_rnn ，一个名为 initial_state 的参数是必须的。一个简单的解决方案是

initial_state = lstm_cell.zero_state(batch_size, tf.float32)

但是我想把初始状态设置为一个可以优化的参数，我该怎么做？

我可以定义两个名为 h0 的 trainable_variables和 c0 ，这是两个向量。但是 dynamic_rnn需要两个矩阵，其中第一维是 batch_size .我如何扩展向量 h0到一个矩阵，其每行是 h0 ?

Answer 1

如果你做了这样的事情怎么办？

initial_state_vector = tf.get_variable('initial_state_vector', [1, state_size])
initial_state = tf.tile(initial_state_vector, batch_size)

然后你可以提供 initial_state LSTM 的变量，它将是适当的大小。