statistics - 测试误差低于训练误差

Question

非常感谢您对此的意见。我正在遗传编程的帮助下构建回归模型。

如果数据比例为 1:5 时，我的测试数据 RMSE(远)低于我的训练数据 RMSE，我应该担心吗？

测试数据是从 24 个数据点中随机抽取的，无放回。该模型是使用遗传编程技术构建的，因此特征数量、建模框架等会随着我最小化由 GP 树中的节点数量正则化的训练 RMSE 而变化。

模型是否欠拟合？或者我应该最小化 MSE 而不是 RMSE(我认为这与 MSE 为正且 MSE 的最小值将与 RMSE 的最小值一致，假设优化器足以找到最小值)？

谢谢

Answer 1

那么您的模型是根据 24 个数据点中的 20 个进行训练，并根据剩余的 4 个数据点进行测试？

对我来说，听起来您需要(更多)更多数据，这样您就可以拥有更大的训练和测试集。我对您的测试集的低性能并不感到惊讶，因为您的模型似乎无法从如此少的数据中学习。根据经验，对于机器学习，你永远不可能拥有足够的数据。是否有可能收集更大的数据集？