machine-learning - 结合训练数据和验证数据，如何选择超参数？

Question

已关闭。这个问题是 not about programming or software development 。目前不接受答案。

---

这个问题似乎不是关于 a specific programming problem, a software algorithm, or software tools primarily used by programmers 。如果您认为这个问题与 another Stack Exchange site 上的主题有关，您可以发表评论来解释问题可能在哪里得到解答。

已关闭2 个月前。

Improve this question

假设我将数据分为训练集和验证集。我对训练集执行 5 倍交叉验证，以获得模型的最佳超参数，然后使用最佳超参数来训练模型并将生成的模型应用于验证集。我的问题是，将训练集和验证集结合起来，并使用从训练集中获得的超参数来构建最终模型是否合理？

Answer 1

如果训练数据相对较小并且添加验证集使您的模型明显更强，这是合理的。然而，与此同时，添加新数据会使您之前选择的超参数可能不是最佳的(很难表明当您将新数据添加到训练集中时应该应用什么样的超参数转换)。因此，您可以平衡两件事:从更多数据中获得模型质量，以及由于难以预测超参数含义的变化而可能造成的损失。在某种程度上，你可以模拟这个过程以确保它有意义，如果你在训练数据中有 N 个点，在验证中有 M 个点，你可以尝试将训练进一步分割成具有相同比例的 block (因此现在 1 是 N * (N/(N+M) 和其他 N * (M/(N+M)))，训练第一个并检查最优超参数是否(或多或少)转移到整个训练集上的最优超参数 - 如果是这样，你可以安全地添加验证，因为它们也应该转移。如果不这样做 - 风险可能得不偿失。