machine-learning - 如何避免训练数据的过度拟合？

Question

关闭。此题需要 details or clarity 。目前不接受答案。

---

想要改进这个问题吗？通过 editing this post 添加详细信息并澄清问题.

已关闭 9 年前。

Improve this question

我是一个生物信息学项目，我有大量的训练数据集。它由大约 18,000 个正实例和 1000 个负实例组成。如果我使用这些数据作为训练集，那么正实例将完全优于负实例。所以，在对测试数据进行分类时，我的负数数据也被错误地分类为正数。

是否有任何简单的方法可以平衡这些正负数据来解决这个问题？

Answer 1

很宽泛的问题，但一般来说你可以大致区分以下几种处理过拟合的方法:

• regularization (具体类型取决于您的近似器/分类器)

• early stopping (基于验证集)

• cross-validation (选择最有可能具有最佳泛化能力的模型)

在训练示例不平衡的情况下，据报道，一个分类器与所有分类器的集成可以产生良好的结果(例如 here )。您还可以使用采样技术(可以通过谷歌找到很多不同的命题)。