Tensorflow Estimator - 对 Eval 数据集的定期评估

Question

tensorflow 文档没有提供如何在评估集上对模型进行定期评估的任何示例。

Some people建议使用实验，这听起来不错，但不幸的是不起作用(折旧并触发错误)。

Others建议使用 SummarySaverHook，但我不知道如何将它与评估集(而不是训练集)一起使用。

解决方案是执行以下操作

for i in range(number_of_epoch):
    estimator.train(...) // on training set
    estimator.evaluate(...) // on evaluation set

在 this paper 中明确不鼓励这种架构(第 4 页右上角)。

任何其他想法/实现？

编辑:

运行实验时的错误信息如下:

File ".../anaconda2/lib/python2.7/site-packages/tensorflow/contrib/learn/python/learn/experiment.py", line 253, in train if (config.environment != run_config.Environment.LOCAL and
AttributeError: 'RunConfig' object has no attribute 'environment'

Tensorflow 1.3 版

Answer 1

只有Experiment的几个参数/选项已弃用(您看到哪些具体错误？)。如果您创建一个 Estimator这将执行定期检查点(使用 RunConfig 中的选项)和 Experiment使用它，默认情况下，您将在使用 train_and_evaluate 时获得每个检查点的评估。方法。

编辑:正如马克西姆在评论中指出的那样。他需要添加以下几行来消除他的错误:

os.environ['TF_CONFIG'] = json.dumps({'environment': 'local'})
config = tf.contrib.learn.RunConfig()