tensorflow - 在 tensorflow 中处理大型图像数据集

Question

我有一个包含超过 150 万张图像的数据集，我必须将它们分为 62 类。我创建了两个 numpy 数组特征(png 图像的路径)和标签(int 标签)。现在我想使用 opencv 加载这些图像，但是在 RAM 中处理如此大的加载输入效率很低。

所以我也尝试使用 tensorflow 输入管道文档:

import tensorflow as tf

filename_queue = 
tf.train.string_input_producer(['batch1.csv','batch2.csv'])
reader = tf.TextLineReader(skip_header_lines=1)
key,value = reader.read(filename_queue)

record_defaults = [['1'],['1']]
paths, labels = tf.decode_csv(value, record_defaults=record_defaults)

features_path = tf.stack([paths])
labels = tf.stack([labels])

with tf.Session() as sess:
    coord = tf.train.Coordinator()
    #Start all QueueRunners added into the graph
    threads = tf.train.start_queue_runners(coord=coord)

    for _ in range(1):
        # d_features, d_labels = sess.run([features_path, labels])
        # print len(d_features), len(d_labels)

        min_after_dequeue = 5
        batch_size = 32
        capacity = 30
        #capacity = min_after_dequeue + 3 * batch_size

        example_batch, label_batch = tf.train.shuffle_batch(
            [features_path, labels], batch_size=batch_size, 
            capacity=capacity,
            min_after_dequeue=min_after_dequeue
        )
        print sess.run([example_batch])

但是当我运行它时它被卡住了(我尝试打印张量的形状，这是按预期出现的，但它没有打印我的特征批处理)。

如果有人能指导我更好的方法来创建批处理和加载图像，这些图像稍后可以输入到 tensorflow 模型中，那将非常有帮助。

Answer 1

您在创建队列运行器之前启动它们(它们由 tf.train.shuffle_batch 创建)。

也就是说，基于队列的输入管道已弃用，您应该切换到 tf.data。