python - tensorflow.data_flow_ops 中的queue.dequeue_up_to() 方法的用途是什么？

Question

我对这种方法真的很困惑，尤其是当我发现这个令人费解的陈述时:

output.set_shape(tensor_shape.TensorShape([None]).concatenate(shape))

以下是一些注释作为该方法的描述:

This operation concatenates queue-element component tensors along
the 0th dimension to make a single component tensor. If the queue
has not been closed, all of the components in the dequeued tuple
will have size `n` in the 0th dimension.

对形状的第 0 维指定 None 太奇怪了(我想它可能是 n？)，这似乎与描述中的 size 'n' 相矛盾。这导致我的程序出现形状错误，尽管我已经找到了它在哪里，但我无法理解原因。

你能告诉我为什么在这里使用TensorShape([None])吗？

Answer 1

QueueBase.dequeue_up_to(n)方法从队列中返回一批最多(“最多”)n 个元素。相比之下QueueBase.dequeue_many(n)方法从队列中返回一批恰好 n 个元素。

这两个操作的行为相同，直到队列为 closed 。此后，无法再向队列添加任何元素，因此这些操作将耗尽剩余元素。如果剩余元素的数量 (num_remaining) 不是 n 的精确倍数，QueueBase.dequeue_up_to(n) 将返回最终的较小批处理num_remaining % n 个元素。相比之下，QueueBase.dequeue_many(n) 不会返回最后几个元素，因为它无法生成一批恰好包含 n 个元素的批处理。

因为 QueueBase.dequeue_up_to(n) 可以返回不同大小的批处理(即 n 和 num_remaining % n)，这些批处理不是静态已知的(因为num_remaining取决于运行时发生的入队操作的数量)，其返回值的第一个维度是Dimension(None)。 Dimension(None) 通常用于指示在执行之间可能变化的形状。