machine-learning - 当您无法访问测试数据时进行超参数调整

Question

我正在为 SQUAD(斯坦福问答)数据集 ( https://rajpurkar.github.io/SQuAD-explorer ) 构建模型。斯坦福大学没有发布其测试集。它只为我们提供训练和开发数据集。

这是我的问题:

当我调整不同模型的超参数时，我根据斯坦福大学提供的“dev”数据来调整它们。但是，我们将“开发”集视为“测试”集，因为我们无法访问真正的“测试”数据。我们根据“dev”数据集的表现，在不同模型中仅选择 1 个模型进行提交。

所以我想知道是否应该将训练集进一步分成训练集和开发集，并在新分离的开发集上调整超参数，而不是斯坦福大学给出的开发集，因为我们使用“dev”集作为“测试”设置。​我是不是作弊了？我是否需要从现有的训练数据创建另一个“dev”数据，进一步分割它，并调整那里的超参数，并检查给定“dev”集的性能数字？

Answer 1

我认为将训练集进一步拆分为新的(较小的)训练和测试，使用开发集来调整超参数并评估测试集的性能是完全可以的(假设您有足够的数据)。