tensorflow - tf.nn.dynamic_rnn tensorflow 函数的输出分析

Question

我无法理解 tf.nn.dynamic_rnn 的输出 tensorflow 函数。该文档仅说明输出的大小，但并未说明每行/列的含义。从文档:

outputs: The RNN output Tensor.

If time_major == False (default), this will be a Tensor shaped: [batch_size, max_time, cell.output_size].

If time_major == True, this will be a Tensor shaped: [max_time, batch_size, cell.output_size].

Note, if cell.output_size is a (possibly nested) tuple of integers or TensorShape objects, then outputs will be a tuple having the
same structure as cell.output_size, containing Tensors having shapes corresponding to the shape data in cell.output_size.

state: The final state. If cell.state_size is an int, this will be shaped [batch_size, cell.state_size]. If it is a
TensorShape, this will be shaped [batch_size] + cell.state_size.
If it is a (possibly nested) tuple of ints or TensorShape, this will be a tuple having the corresponding shapes.

outputs张量是一个 3-D 矩阵，但每行/列代表什么？

Answer 1

tf.dynamic_rnn 提供两个输出，outputs和 state .

outputs包含 RNN 单元在每个时刻的输出。假设默认 time_major == False ，假设您有一个由 10 个示例组成的输入，每个示例有 7 个时间步，每个时间步都有一个大小为 5 的特征向量。那么您的输入将是 10x7x5 ( batch_size x max_time x features )。现在，您将其作为输出大小为 15 的 RNN 单元的输入。从概念上讲，每个示例的每个时间步都是 RNN 的输入，您将获得每个长度为 15 的向量。这就是outputs在这种情况下，包含一个大小为 10x7x15 ( batch_size x max_time x cell.output_size ) 的张量，以及每个时间步的 RNN 单元的输出。如果您只对单元格的最后一个输出感兴趣，则可以将时间维度切片以仅选择最后一个元素(例如 outputs[:, -1, :] )。

state包含处理所有输入后 RNN 的状态。请注意，与 outputs 不同，这不包含关于每个时间步的信息，而只包含关于最后一个(即最后一个之后的状态)的信息。根据您的情况，状态可能有用也可能没有用。例如，如果您有很长的序列，您可能不希望/无法在单个批次中处理它们，并且您可能需要将它们拆分为多个子序列。如果您忽略 state ，那么每当你给出一个新的子序列时，就好像你在开始一个新的子序列；但是，如果您记住状态(例如输出它或将其存储在变量中)，您可以稍后将其反馈(通过 initial_state 的 tf.nn.dynamic_rnn 参数)以正确跟踪 RNN 的状态，并且只有在完成整个序列后才将其重置为初始状态(通常为全零)。 state的形状可能会因您使用的 RNN 单元而异，但一般来说，每个示例都有一些状态(一个或多个大小为 batch_size x state_size 的张量，其中 state_size 取决于单元类型和大小)。