python - 如果我想使用无法通过 TensorFlow 加载到内存中的大型数据集，我该怎么办？

Question

我想使用一次无法加载到内存中的大型数据集来通过 TensorFlow 训练模型。但我不知道我到底应该做什么。

我阅读了一些关于 TFRecords 文件格式和官方文档的精彩文章。公交车我还是没搞懂。

TensorFlow 有完整的解决方案吗？

Answer 1

考虑使用tf.TextLineReader与 tf.train.string_input_ Producer 结合使用，您可以从磁盘上的多个文件加载数据(如果您的数据集足够大，需要分散到多个文件中)。

参见https://www.tensorflow.org/programmers_guide/reading_data#reading_from_files

上面链接中的代码片段:

filename_queue = tf.train.string_input_producer(["file0.csv", "file1.csv"])

reader = tf.TextLineReader()
key, value = reader.read(filename_queue)

# Default values, in case of empty columns. Also specifies the type of the
# decoded result.
record_defaults = [[1], [1], [1], [1], [1]]
col1, col2, col3, col4, col5 = tf.decode_csv(
    value, record_defaults=record_defaults)
features = tf.stack([col1, col2, col3, col4])

with tf.Session() as sess:
  # Start populating the filename queue.
  coord = tf.train.Coordinator()
  threads = tf.train.start_queue_runners(coord=coord)

  for     filename_queue = tf.train.string_input_producer(["file0.csv", "file1.csv"])

reader = tf.TextLineReader()
key, value = reader.read(filename_queue)

# Default values, in case of empty columns. Also specifies the type of the
# decoded result.
record_defaults = [[1], [1], [1], [1], [1]]
col1, col2, col3, col4, col5 = tf.decode_csv(
    value, record_defaults=record_defaults)
features = tf.stack([col1, col2, col3, col4])

with tf.Session() as sess:
  # Start populating the filename queue.
  coord = tf.train.Coordinator()
  threads = tf.train.start_queue_runners(coord=coord)

  for i in range(1200):
    # Retrieve a single instance:
    example, label = sess.run([features, col5])

  coord.request_stop()
  coord.join(threads)i in range(1200):
    # Retrieve a single instance:
    example, label = sess.run([features, col5])

  coord.request_stop()
  coord.join(threads)