python - 如何解释 Tensorflow DNNRegressor Estimator 模型中的损失函数？

Question

我正在使用 Tensorflow DNNRegressor Estimator 模型制作神经网络。但是调用 estimator.train() 函数的输出如下:

即我的损失函数在每一步都变化很大。但据我所知，我的损失函数应该随着迭代次数的减少而减少。另外，找到附加的 Tensorboard 损失函数可视化屏幕截图:

我想不通的疑惑是:

• 是总体损失函数值(到目前为止处理的每个步骤的综合损失)还是该步骤的损失值？
• 如果是那一步的损失值，那么如何获得整体损失函数的值并查看其趋势，我觉得它应该随着迭代次数的增加而减少？据我所知，这是我们在训练数据集时应该考虑的值(value)。
• 如果这是整体损失值，那么为什么波动如此之大？我错过了什么吗？

Answer 1

首先，让我指出tf.contrib.learn.DNNRegressor使用具有 mean_squared_loss 的线性回归头，即简单的 L2 损失。

Whether it is overall loss function value (combined loss for every step processed till now) or just that step's loss value?

图表上的每个点都是到目前为止学习后最后一步的损失函数值。

If it is that step's loss value, then how to get value of overall loss function and see its trend, which I feel should decrease with increasing no of iterations?

没有整体损失函数，您可能指的是每一步后损失如何变化的图表。这正是 tensorboard 向您展示的内容。你是对的，它的趋势并没有像它应该的那样向下。这表明您的神经网络没有在学习。

If this is overall loss value, then why is it fluctuating so much? Am I missing something?

神经网络无法学习的一个常见原因是超参数选择不当(尽管 there are many more mistakes 您可能会选择)。例如:

• 学习率太大
• 也有可能是学习率太小，这意味着神经网络正在学习，但是非常非常慢，以至于你看不到它
• 权重初始化可能太大，尝试降低它
• 批量大小也可能太大
• 您为输入传递了错误的标签
• 训练数据包含缺失值，或未规范化
• ...

为了检查神经网络是否至少以某种方式工作，我通常会做的是将训练集减少到几个例子并尝试过度拟合网络。这个实验非常快，所以我可以尝试各种学习率、初始化方差和其他参数来找到最佳点。一旦我有了一个稳定下降的损失图表，我就会继续使用更大的一组。