Java - 在文本挖掘上实现机器学习方法

Question

我有一些文本，我想通过使用 Weka 库在 Java 中实现机器学习 方法来挖掘这些文本。为此，到目前为止我已经做了一些事情，但由于整个代码太长，我只想展示一些关键方法并了解如何训练和测试我的数据集，以及解释结果等。

仅供引用，我正在使用 Twitter4J 处理推文。

首先，我获取推文并保存在文本文件中(当然是 ARFF 格式)。然后我根据他们的情绪(正面、中性、负面)手动标记他们。基于选定的分类器，由于交叉验证，我从我的训练集中创建了测试集。最后我对它们进行了分类并打印了摘要和混淆矩阵。

这是我的分类器之一:朴素贝叶斯代码:

public static void ApplyNaiveBayes(Instances data) throws Exception {

    System.out.println("Applying Naive Bayes \n");
    data.setClassIndex(data.numAttributes() - 1); 
    StringToWordVector swv = new StringToWordVector();
    swv.setInputFormat(data);
    Instances dataFiltered = Filter.useFilter(data, swv);
    //System.out.println("Filtered data " +dataFiltered.toString());

    System.out.println("\n\nFiltered data:\n\n" + dataFiltered);

    Instances[][] split = crossValidationSplit(dataFiltered, 10);
    Instances[] trainingSets = split[0];
    Instances[] testingSets = split[1];


    NaiveBayes classifier = new NaiveBayes(); 

    FastVector predictions = new FastVector();


    classifier.buildClassifier(dataFiltered);
    System.out.println("\n\nClassifier model:\n\n" + classifier);     

    // Test the model
    for (int i = 0; i < trainingSets.length; i++) {
        classifier.buildClassifier(trainingSets[i]);
        // Test the model         
        Evaluation eTest = new Evaluation(trainingSets[i]);
        eTest.evaluateModel(classifier, testingSets[i]);

        // Print the result to the Weka explorer:
        String strSummary = eTest.toSummaryString();
        System.out.println(strSummary);

        // Get the confusion matrix
        double[][] cmMatrix = eTest.confusionMatrix();
        for(int row_i=0; row_i<cmMatrix.length; row_i++){
            for(int col_i=0; col_i<cmMatrix.length; col_i++){
                System.out.print(cmMatrix[row_i][col_i]);
                System.out.print("|");
            }
            System.out.println();
        }
    }
}

仅供引用，crossValidationSplit 方法在这里:

    public static Instances[][] crossValidationSplit(Instances data, int     
    numberOfFolds) {
        Instances[][] split = new Instances[2][numberOfFolds];

        for (int i = 0; i < numberOfFolds; i++) {
            split[0][i] = data.trainCV(numberOfFolds, i);
            split[1][i] = data.testCV(numberOfFolds, i);
        }

        return split;
    }

最后，我得到了 10 个不同的结果(因为 k=10)。其中之一是:

  Correctly Classified Instances           4               36.3636 %
  Incorrectly Classified Instances         7               63.6364 %
  Kappa statistic                          0.0723
  Mean absolute error                      0.427 
  Root mean squared error                  0.5922
  Relative absolute error                 93.4946 %
  Root relative squared error            116.5458 %
  Total Number of Instances               11     

  2.0|0.0|1.0|
  1.0|1.0|2.0|
  3.0|0.0|1.0|

那么，我该如何解释结果呢？你认为我在训练和测试集方面做得对吗？我想获得给定文本文件的情绪百分比(正面、中性、负面)。如何从这些结果中推断出我的需求？感谢阅读...

Answer 1

不幸的是你的代码有点困惑。

首先，你在你的全套集合上训练你的模型:

classifier.buildClassifier(dataFiltered);

然后您在 for 循环中重新训练您的模型:

for (int i = 0; i < trainingSets.length; i++) {
    classifier.buildClassifier(trainingSets[i]);
    ...
 }

比你计算的困惑mtx还多。我觉得没必要。

在我看来，您需要应用 Evaluation.crossValidateModel() 方法，如下所示:
//设置类索引
dataFiltered.setClassIndex(dataFiltered.numAttributes() - 1);
//建立一个模型——根据需要选择一个分类器
分类器.buildClassifier(dataFiltered);
评价 eval = new Evaluation(dataFiltered);
eval.crossValidateModel(分类器, dataFiltered, 10, new Random(1));
//打印统计——不需要计算混淆 mtx，weka 做!
System.out.println(分类器);
System.out.println(eval.toSummaryString());
System.out.println(eval.toMatrixString());
System.out.println(eval.toClassDetailsS​​tring());