python - 使用 tf.data.Dataset.batch 时出现的问题

Question

我想弄清楚 tf.data.Dataset.batch 如何处理我的数据集。数据集如下:

dataset = tf.convert_to_tensor([[5.1, 3.3, 1.7, 0.5, ],
[5.9, 3.0, 4.2, 1.5],
[6.9, 3.1, 5.4, 2.1],
[2.3, 1.3, 6.4, 9.3]])

然后我使用批处理方法:

dataset = dataset.batch(2)

并迭代数据集一次。

x = tfe.Iterator(dataset).next()

正如我所想，结果应该是一个 2*4 数组，但它返回整个 4*4 数据集。

有人能给我一些关于如何应用batch方法的详细信息吗？

Answer 1

您需要将您的数据集 Tensor转换为TensorSliceDataset，即告诉Tensorflow对张量进行切片并制作它的数据集。

import tensorflow as tf

data = tf.convert_to_tensor([[5.1, 3.3, 1.7, 0.5],
                             [5.9, 3.0, 4.2, 1.5],
                             [6.9, 3.1, 5.4, 2.1],
                             [2.3, 1.3, 6.4, 9.3]])

dataset = tf.data.Dataset.from_tensor_slices(data).batch(2)
batch_iterator = dataset.make_one_shot_iterator().get_next()

sess = tf.InteractiveSession()
batch = sess.run(batch_iterator)
print(batch)
# [[ 5.1   3.3  1.7  0.5  ]
#  [ 5.9   3.   4.2  1.5  ]]