java - Spark MLlib 中的朴素贝叶斯

Question

我有一个具有这种结构的小文件“naivebayetest.txt”

10 1:1
20 1:2
20 1:2

根据这些数据，我试图对 vector (1) 进行分类。如果我正确理解贝叶斯 (1) 的标签应该是 10(概率为 1!)。 Spark MLlib 中的程序:

String path = "/usr/local/spark/data/mllib/bayestest.txt";
JavaRDD<LabeledPoint> training = MLUtils.loadLibSVMFile(jsc.sc(), path).toJavaRDD();
final NaiveBayesModel model = NaiveBayes.train(training.rdd());
Vector v = Vectors.dense(1);
double prediccion = model.predict(v);
System.out.println("Vector: "+v+" prediction: "+prediccion);

显示 vector :[1.0] 预测:20.0

我使用包含 1050 个元素的训练集获得了相同的结果，其中 350 (1/3) 个形式为 10 1:1，其余为 20 1:2 (2/3)，我仍然得到 vector 1 的相同预测 20.0。

我做错了什么？

Answer 1

在source code关于 Spark 朴素贝叶斯实现，您可以找到已实现算法的链接:

1. Multinomial NB which can handle all kinds of discrete data. For example, by converting documents into TF-IDF vectors, it can be used for document classification.
2. Bernoulli NB by making every vector a 0-1 vector.

The input feature values must be nonnegative.

在您的例子中，Spark 使用多项式 NB(默认)，所以让我们深入研究算法。

朴素贝叶斯常用于文档分类，我将您的案例作为文档分类案例进行说明:

1. 假设类(class)是十和二十
2. 假设输入 token (在本例中只有一个)是 Spark

因此对于您的第一行数据，它将是:Spark
对于第二个和第三个，它们将是:Spark Spark

正如我从 Multinomial NB 链接中了解到的那样，该算法可以总结为以下等式:

地点:
P(Ci) : 测试数据属于类别 i 的条件概率
nf :词汇表中的术语数量
Sij :类别 i 和术语 j 的词频之和
Si : 类别 i 的词频总和
λ:lambda，平滑值
v : 输入测试 vector
ndci : 第 i 类中的行数据数
nd : 行数据总数
nc : 类数



你的情况发生了什么

在你的行数据中，只有一个标记(或只有一个输入特征)，这意味着等式中的nf等于1
所以:Sij = Si

这将使 vector 的乘数:
ln(Sij+λ) - ln(Si+nf*λ) = ln(Si+λ)-ln(Si+λ) = 0

因此，现在的等式是:

这意味着结果不再依赖于输入 vector !

现在是拥有最多行数据的类赢得分类。

这就是为什么您的预测结果是 20 而不是 10。



最后

为避免这种情况，请尝试使用线性回归、决策树、随机森林、GBT 等。