python - 使用分区基准数据集进行机器学习参数调整

Question

我知道这将是非常基础的，但是我真的很困惑，我想更好地了解参数调整。

我正在处理一个基准数据集，该数据集已分为训练、开发和测试三个部分，我想使用 sklearn 中的 GridSearchCV 来调整我的分类器参数>。

调整参数的正确分区是什么？是发展还是培训？

我在文献中看到研究人员提到他们“在开发拆分中使用 GridSearchCV 调整了参数”，另一个例子是 here ;

他们的意思是他们在训练部分进行了训练，然后在开发部分进行了测试？或者 ML 从业者通常意味着他们完全在开发拆分上执行 GridSearchCV？

我非常感谢您的澄清。谢谢，

Answer 1

通常在三向分割中，您使用训练集训练模型，然后在开发(也称为验证集)集上对其进行验证以调整超参数，然后在所有调整完成后执行最终操作在测试前未见过的集(也称为评估集)上对模型进行评估。

在双向拆分中，您只有一个训练集和一个测试集，因此您可以在同一测试集上执行调整/评估。