matlab - 朴素贝叶斯分类器——标准化是否必要？

Question

我们最近在机器学习类(class)中研究了朴素贝叶斯分类器，现在我正尝试在 Fisher Iris 数据集上实现它作为 self 练习。这个概念简单明了，但连续属性涉及一些技巧。我阅读了一些文献资源，这些文献资源建议使用高斯近似来计算测试数据值的概率，因此我将在我的代码中使用它。

现在我尝试最初运行它以获取 50% 的训练数据和 50% 的测试数据样本，但缺少一些内容。当前的代码总是为所有测试样本预测类 1(我使用整数来表示类)，这显然是错误的。

我的猜测是，问题可能是由于代码省略了规范化？尽管我认为添加归一化仍然会产生成比例的结果，并且到目前为止，我的归一化尝试已经产生了相同的分类结果。

如果这里有明显遗漏的东西，有人可以提出建议吗？或者如果我没有接近这个权利？由于大部分代码都是“机制”，因此我突出显示了(****************)负责计算的两行代码。感谢任何帮助，谢谢!

nsamples=75;                                      % 50% samples
% acquire training set and test set
[trainingSample,idx] = datasample(data,nsamples,'Replace',false);
testData = data(setdiff(1:150,idx),:);

% define Gaussian function
%***********************************************************%
Phi=@(mu,sig2,x) (1/sqrt(2*pi*sig2))*exp(-((x-mu)^2)/2*sig2);
%***********************************************************%
   
for c=1:3                                         % for 3 classes in training set
    clear y x mu sig2;
    index=1;
    for i=1 : length(trainingSample)
        if trainingSample(i,5)==c
            y(index,:)=trainingSample(i,:);       % filter current class samples
            index=index+1;                        % for conditional probabilities
        end
    end
    
    for j=1:size(testData,1)                      % iterate over test samples
        clear pf p;
        for i=1:4                                 % iterate over columns
            x=testData(j,i);                      % representing attributes
            mu=mean(y(:,i));
            sig2=var(y(:,i));
            pf(i) = Phi(mu,sig2,x);               % calc conditional probability
        end
        
        % calc class likelihood; prior * posterior
        %*****************************************************%
        pc(j,c) = size(y,1)/nsamples * pf(1)*pf(2)*pf(3)*pf(4);
        %*****************************************************%
    end
end

% find the predicted class for each test sample
% by taking the max probability calculated    
for i=1:size(pc,1)
    [~,q]=max(pc(i,:));
    predicted(i)=q;
    actual(i)=testData(i,5);
end

Answer 1

归一化不是必需的，因为这些功能只是相互比较。

p(class|thing) = p(class)p(thing|class) =
= p(class)p(feature_1|class)p(feature_2|class)...p(feature_N|class)

因此，当拟合分布的参数feature_i|class时，在这种情况下(mu，sigma2)，它只会重新调整参数(对于新的“比例”)，但概率仍将是一样。

由于大量的索引和训练/测试的分割等，很难阅读 matlab 代码。这可能是问题根源。你应该尝试一些少一些不必要的东西(例如，我会推荐带有 scikit-learn 的 python，很多用于分割数据的助手，诸如 http://scikit-learn.org/ )。

将训练数据和测试数据分开，并且仅使用训练数据训练模型并使用测试数据测试训练后的模型非常重要。 (完成了吗？)

下一步是检查参数，最简单的方法是打印出来(健全性检查)或..

对于每个特征，渲染安装在数据直方图旁边的高斯钟形，以查看它们是否匹配(请记住，每个直方图条的高度必须为 number_of_samples_within_range/total_number_of_samples。

可视化数据和模型对于了解正在发生的情况非常重要。