python - 如何将Python数据生成器转换为Tensorflow张量？

Question

我有一个数据生成器，我可以用它生成训练图像。我想使用这个 Python 数据生成器将数据输入 Tensorflow 模型，但我不知道如何将生成器转换为 Tensorflow 张量。我正在寻找类似于 Keras 的 fit_generator() 函数的东西。

谢谢!

Answer 1

tf.data.Dataset.from_generator()方法提供了一种将 Python 生成器转换为 tf.Tensor 对象的方法，该对象计算生成器中的每个连续元素。

假设您有一个简单的生成器，可以生成元组(但也可以生成列表或 NumPy 数组):

def g():
  yield 1, 10.0, "foo"
  yield 2, 20.0, "bar"
  yield 3, 30.0, "baz"

您可以使用 tf.data API 将生成器首先转换为 tf.data.Dataset，然后转换为 tf.data.Iterator，最后是 tf.Tensor 对象的元组。

dataset = tf.data.Dataset.from_generator(g, (tf.int32, tf.float32, tf.string))

iterator = dataset.make_one_shot_iterator()

int_tensor, float_tensor, str_tensor = iterator.get_next()

然后，您可以使用 int_tensor、float_tensor 和 str_tensor 作为 TensorFlow 模型的输入。请参阅tf.data programmer's guide获取更多想法。