machine-learning - 如何正确评估神经网络模型？

Question

我目前正在为我的神经网络进行超参数优化。

我有给我的训练、开发和测试文件。为了进行超参数优化，我正在使用训练集和开发集运行完整的训练。最后，我对给定参数组合的训练测试集进行评估。

我正在选择使测试集得分最大化的参数。我的问题是，我觉得这是错误的，因为我有点泄漏测试集。

这个程序不好吗？我应该使用 optunity 来最大限度地提高开发集的准确性并最终报告测试集的分数吗？

Answer 1

通常，验证(开发)集用于将模型与各种超参数进行比较。选择并训练您的首选模型后，您可以在测试集上运行它以衡量其性能。

你的直觉是正确的；使用测试集来选择模型参数在某种意义上是使用该数据来帮助训练过程，这是不可取的。

训练/验证/测试集的划分和使用在this post中有更详细的讨论。并在 this video作者:吴恩达。