gpt4 book ai didi

python - Tensorflow:如何将 "new"数据集 API 与 QueueRunner 一起使用

转载 作者:太空宇宙 更新时间:2023-11-03 14:33:14 26 4
gpt4 key购买 nike

基本上我有一个要处理的图像列表。我需要在加载后进行一些预处理(数据增强),然后输入到 TF 的主图。目前我正在使用一个定制的生成器,它采用路径列表生成一对张量(图像)并通过占位符馈送到网络。每个批处理的顺序处理大约需要 0.5 秒。

我刚刚阅读了Dataset API,我可以通过使用.from_generator()函数直接使用它,并且我可以使用.get_next() 直接作为输入。

但是 QueueRunner 如何融入框架呢? Dataset 是否隐式利用 queue + dequeue 来维护其 generator/get_next 管道,或者它需要我显式提供之后进入 FIFOQueue 吗?如果答案是后者,那么维护训练和验证多个 random_shuffle epoch 的管道的最佳实践是什么? (我的意思是,我需要维护多少个 DS/queueRunner,以及在哪里设置 shuffle 和 epoch?)

最佳答案

如果您使用数据集 API,则不必使用 QueueRunner 来拥有队列/缓冲区。可以使用数据集 API 创建队列/缓冲区,并同时预处理数据和训练网络。如果您有数据集,则可以使用 prefetch function 创建队列/缓冲区或shuffle function .

有关更多信息,请参阅 official tutorial on the Dataset API .

以下是在 CPU 上使用预取缓冲区进行预处理的示例:

 NUM_THREADS = 8
BUFFER_SIZE = 100

data = ...
labels = ...
inputs = (data, labels)

def pre_processing(data_, labels_):
with tf.device("/cpu:0"):
# do some pre-processing here
return data_, labels_

dataset_source = tf.data.Dataset.from_tensor_slices(inputs)
dataset = dataset_source.map(pre_processing, num_parallel_calls=NUM_THREADS)

dataset = dataset.repeat(1) # repeats for one epoch
dataset = dataset.prefetch(BUFFER_SIZE)

iterator = tf.data.Iterator.from_structure(dataset.output_types,
dataset.output_shapes)
next_element = iterator.get_next()
init_op = iterator.make_initializer(dataset)

with tf.Session() as sess:
sess.run(init_op)
while True:
try:
sess.run(next_element)
except tf.errors.OutOfRangeError:
break

关于python - Tensorflow:如何将 "new"数据集 API 与 QueueRunner 一起使用,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/47132557/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com