scala - Spark : How to perform undersampling on LabeledPoint?

Question

我的 LabeledPoint 中有一些不平衡的数据.我想要做的是选择所有正面和 n负数倍(随机)。例如，如果我有一个 100正面和 30000底片，我想创建新 LabeledPoint与所有 100正面和 300底片 ( n=3 )。

在实际情况中，我不知道一开始有多少正面和负面。

Answer 1

大概你的数据是 RDD[LabeledPoint] .您可以执行以下操作:

val pos = rdd.filter(_.label==1)
val numPos=pos.count()
val neg = rdd.filter(_.label==0).takeSample(false, numPos*3)
val undersample = pos.union(neg)

您可以找到 takeSample 的文档, filter , 和 union here .