tensorflow - Tensorflow text_generation 教程中有状态 GRU 的误导性训练数据混洗

Question

我正在查看 Tensorflow text_generation 教程 (https://www.tensorflow.org/tutorials/text/text_generation)，想知道为什么尽管 GRU 层的状态设置为 TRUE，但它们仍在随机播放训练数据？

这与文档相矛盾 ( https://www.tensorflow.org/api_docs/python/tf/keras/layers/RNN ):“关于在 RNN 中使用有状态的注意事项:您可以将 RNN 层设置为‘有状态’，这意味着为一批中的样本计算的状态将被重新用作下一批中样本的初始状态。这假设不同连续批处理中样本之间的一对一映射。”

教程中的代码片段:

dataset = dataset.shuffle(BUFFER_SIZE).batch(BATCH_SIZE, drop_remainder=True)

tf.keras.layers.GRU(rnn_units,
                        return_sequences=True,
                        stateful=True,
                        recurrent_initializer='glorot_uniform')

Answer 1

文档有误。我按照 TensorFlow 文档中的步骤进行操作，但是当我设置 stateful=False 时，我使用随机数据获得了更好的结果。