gpt4 book ai didi

php - 使用朴素贝叶斯分类器对推文进行分类 : some problems

转载 作者:可可西里 更新时间:2023-10-31 23:23:56 28 4
gpt4 key购买 nike

除其他来源外,我还使用 Stackoverflow 上的各种帖子,尝试实现我自己的 PHP 分类器,以将推文分类为正面、中性和负面类别。在编码之前,我需要弄清楚流程。我的思路和例子如下:

                                  p(class) * p(words|class)
Bayes theorem: p(class|words) = ------------------------- with
p(words)

assumption that p(words) is the same for every class leads to calculating
arg max p(class) * p(words|class) with
p(words|class) = p(word1|class) * p(word2|topic) * ... and
p(class) = #words in class / #words in total and

p(word, class) 1
p(word|class) = -------------- = p(word, class) * -------- =
p(class) p(class)

#times word occurs in class #words in total #times word occurs in class
--------------------------- * --------------- = ---------------------------
#words in total #words in class #words in class

Example:

------+----------------+-----------------+
class | words | #words in class |
------+----------------+-----------------+
pos | happy win nice | 3 |
neu | neutral middle | 2 |
neg | sad loose bad | 3 |
------+----------------+-----------------+

p(pos) = 3/8
p(neu) = 2/8
p(meg) = 3/8

Calculate: argmax(sad loose)

p(sad loose|pos) = p(sad|pos) * p(loose|pos) = (0+1)/3 * (0+1)/3 = 1/9
p(sad loose|neu) = p(sad|neu) * p(loose|neu) = (0+1)/3 * (0+1)/3 = 1/9
p(sad loose|neg) = p(sad|neg) * p(loose|neg) = 1/3 * 1/3 = 1/9

p(pos) * p(sad loose|pos) = 3/8 * 1/9 = 0.0416666667
p(neu) * p(sad loose|neu) = 2/8 * 1/9 = 0.0277777778
p(neg) * p(sad loose|neg) = 3/8 * 1/9 = 0.0416666667 <-- should be 100% neg!

如您所见,我已经用正面(“happy win nice”)、中性(“neutral middle”)和负面(“sad loose bad”)推文“训练”了分类器。为了防止由于所有类别中都缺少一个单词而导致概率为零的问题,我使用了 LaPlace(或 ädd one")平滑,请参阅“(0+1)”。

我基本上有两个问题:

  1. 这是正确的实现蓝图吗?有改进的余地吗?
  2. 在对推文(“sad loose”)进行分类时,预计 100% 属于“neg”类,因为它只包含否定词。然而,LaPlace 平滑使事情变得更加复杂:类 pos 和 neg 具有相等的概率。有解决办法吗?

最佳答案

有两个主要元素需要改进您的推理。

首先,你应该改进你的平滑方法:

  • 应用拉普拉斯平滑时,应将其应用于所有测量,而不仅仅是分母为零的测量。
  • 此外,这种情况下的拉普拉斯平滑通常由 (c+1)/(N+V) 给出,其中 V 是词汇量大小(例如,参见 Wikipedia )。

因此,使用您定义的概率函数(这可能不是最合适的,见下文):

p(sad loose|pos) = (0+1)/(3+8) * (0+1)/(3+8) = 1/121

p(sad loose|neu) = (0+1)/(3+8) * (0+1)/(3+8) = 1/121

p(sad loose|neg) = (1+1)/(3+8) * (1+1)/(3+8) = 4/121 <-- would become argmax

此外,首先计算概率的一种更常见的方法是:

(number of tweets in class containing term c) / (total number of tweets in class)

例如,在上面给出的有限训练集中,忽略平滑,p(sad|pos) = 0/1 = 0,p(sad|neg) = 1/1 = 1。当训练集大小增加时,这些数字会更有意义。例如如果你有 10 条关于负面类别的推文,其中 4 条出现“悲伤”,那么 p(sad|neg) 将是 4/10。

关于朴素贝叶斯算法输出的实际数字:你不应该期望算法为每个类分配实际概率;相反,类别顺序更为重要。具体来说,使用 argmax 会给你算法对类的最佳猜测,但不是它的概率。为 NB 结果分配概率是另一回事;例如,查看 article讨论这个问题。

关于php - 使用朴素贝叶斯分类器对推文进行分类 : some problems,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/9996327/

28 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com