machine-learning - TensorFlow 估计器 input_fn 具有非常大的数据集？

Question

如何使用 input_fn 训练 TensorFlow Estimator以至于实际数据(特征和标签)不适合内存？

具体来说，我的训练数据如下所示:

// training.txt
0, 0.001, 0.002, 0.003, 0.004,(...)
1, 0.005, 0.006, 0.007, 0.008,(...)
(...)

每行中的第一项是标签(这是用于分类问题)，该行中的其余值是一长串 float 。每行有 16,001 个值。该文件有数千万行。

我考虑过将输入文件拆分为许多较小的文件，以便每个文件都适合内存，但我没有看到一种干净的方法来切换运行时使用哪个文件。

Answer 1

您可以使用tensor-flow的数据集API，从input_fn返回数据集。