machine-learning - 训练集中的正/负比例

Question

我正在尝试获取 Rocchio algorithm以获得工作的相关反馈。我有一个疑问，一些文件标记了积极和消极。例如，我有 60 个阳性和 337 个阴性。我想使用此数据集的一部分来训练我的模型(在本例中 - 调整查询)并在另一部分上进行测试。但是，有了这种不平衡的数据集，我不确定要在训练集中考虑多少负数和多少正数。

另一个问题是，根据测试数据集中的正/负比例，我会得到误导性的精度、召回率和 F1 分数结果。测试数据集中有 49 个正例和 17 个负例，精度=0.742，召回率=1.000，F1=0.852，TP=49，FP=17，TN=0，FN=0。

其他查询的正/负比例分布并没有给我任何关于为我的模型选择哪个比例的提示。

所以我想请您提供一些关于使用不平衡数据集以获得正确结果的建议。

提前致谢，很抱歉提出这样的菜鸟(-ish？)问题:-)

Answer 1

首先，我认为你的算法很难从如此少量的示例中进行概括(当然这也取决于特征的数量)。

其次，我认为使用不平衡的数据集并不是一个好主意。看来你的算法没有学到任何东西，因为它的输出总是“正”。这意味着如果您的数据集是平衡的，您的准确度将为 50%。不太好...如果您找不到更大的数据集，我建议您按如下方式拆分数据集:

• 训练集(45 个正样本/45 个负样本)
• 测试集(15 个阳性/15 个阴性)

无论如何，我还是一名学生，所以这就是我的想法，但如果更有经验的用户能够确认或不确定，那就太好了。

希望对你有帮助!