tensorflow - tensorflow 中 deep 和 wide 的 mini-batch

Question

我正在尝试让深度和广度模型处理大数据，例如(enter link description here).其中深层隐藏单元为[1024,512,256]。

我们使用 tf.SparseTensor() 来存储我们的数据。

当我使用 4000 万个实例作为训练数据时，出现以下错误。

  ***

m.fit(input_fn=lambda: input_fn(df_train), steps=FLAGS.train_steps)                        
  File "/usr/local/lib/python2.7/dist-packages/tensorflow/contrib/learn/python/learn/estimators/estimator.py", line 182, in fit
    monitors=monitors)
  File "/usr/local/lib/python2.7/dist-packages/tensorflow/contrib/learn/python/learn/estimators/estimator.py", line 458, in _train_model
    summary_writer=graph_actions.get_summary_writer(self._model_dir))
  File "/usr/local/lib/python2.7/dist-packages/tensorflow/contrib/learn/python/learn/graph_actions.py", line 76, in get_summary_writer
    graph=ops.get_default_graph())                                                             
  File "/usr/local/lib/python2.7/dist-packages/tensorflow/python/training/summary_io.py", line 113, in __init__
    self.add_graph(graph=graph, graph_def=graph_def)                                           
  File "/usr/local/lib/python2.7/dist-packages/tensorflow/python/training/summary_io.py", line 204, in add_graph
    true_graph_def = graph.as_graph_def(add_shapes=True)
  File "/usr/local/lib/python2.7/dist-packages/tensorflow/python/framework/ops.py", line 2117, in as_graph_def
    raise ValueError("GraphDef cannot be larger than 2GB.")                                    
ValueError: GraphDef cannot be larger than 2GB.

---

所以我想使用 mini-batch 来解决这个问题，但它不起作用。如何使用 mini-batch 处理大数据？

Answer 1

要使用小批量进行训练，您只需在每个时期多次调用 model.train，每次为其提供一个数据子集。通过使用 feed_dict 或使用 reading data tutorial 中描述的数据读取操作之一，您可以在不将数据加载到 graphdef 的情况下提供数据。 .