machine-learning - 我们会计算*测试*集上的成本 J(θ) 吗？

Question

我很确定答案是否定的，但想确认一下......

在训练神经网络或其他学习算法时，我们将计算成本函数 J(θ) 作为我们的算法对训练数据的拟合程度的表达式(值越高意味着它对数据的拟合效果越差)。在训练我们的算法时，我们通常期望看到 J(theta) 随着梯度下降的每次迭代而下降。

但我只是好奇，针对我们的测试数据计算 J(θ) 是否有值(value)？

我认为答案是否定的，因为由于我们只对测试数据进行一次评估，因此我们只能得到 J(θ) 的一个值，而且我认为除非与其他值进行比较，否则它没有任何意义。

Answer 1

您的问题涉及有关术语的一个非常常见的歧义:验证和测试集之间的一个(Wikipedia entry和this Cross Vaidated post可能会有所帮助解决这个问题)。

因此，假设您确实引用了正确的测试集而不是验证集，那么:

1. 您是对的，该集合仅在整个建模过程结束时使用一次

2. 一般来说，您认为我们不计算该集合中的成本 J(θ) 的假设是错误的。

详细说明(2):事实上，测试集的唯一用处就是评估我们的最终模型，在拟合过程的各个阶段中根本没有使用过的集合(请注意，< em>验证集已被间接使用，即用于模型选择)；为了评估它，我们显然必须计算成本。

我认为造成混淆的一个可能原因是您可能只想到分类设置(尽管您没有在问题中指定这一点)；确实，在这种情况下，我们通常感兴趣的是与业务指标相关的模型性能(例如准确性)，而不是优化成本 J(θ) 本身。但在回归设置中，优化成本和业务指标很可能是一回事(例如 RMSE、MSE、MAE 等)。而且，正如我希望清楚的那样，在这种设置中，计算测试集中的成本绝不是毫无意义的，尽管我们没有将其与其他值进行比较(它为我们的最终模型提供了“绝对”性能指标) )。

您可能会找到this和 this我的答案对于损失和准确性之间的区别很有用；引用这些答案:

Loss and accuracy are different things; roughly speaking, the accuracy is what we are actually interested in from a business perspective, while the loss is the objective function that the learning algorithms (optimizers) are trying to minimize from a mathematical perspective. Even more roughly speaking, you can think of the loss as the "translation" of the business objective (accuracy) to the mathematical domain, a translation which is necessary in classification problems (in regression ones, usually the loss and the business objective are the same, or at least can be the same in principle, e.g. the RMSE)...