nlp - "isolated symbol probabilities of English"是什么意思

Question

在一个笔记中我发现了这个短语:

Using isolated symbol probabilities of English language, you can find out the entropy of the language.

“孤立符号概率”的实际含义是什么？这与信息源的熵有关。

Answer 1

知道注释的来源和上下文是什么会很有帮助，但即使没有这些，我也很确定这仅仅意味着它们使用单个符号的频率(例如字符)作为熵的基础，而不是例如联合概率(字符序列)或条件概率(一个特定字符的跟随另一个)。

所以如果你有一个字母表 X={a,b,c,...,z} 和每个字符出现在文本中的概率 P(a), P(b),...在数据示例中找到的频率上)，您可以通过计算每个字符 x 的 -P(x) * log(P(x)) 来计算熵 individually 然后取所有的总和.然后，很明显，您会单独使用每个字符的概率，而不是上下文中每个字符的概率。

但是请注意，您找到的注释中的术语symbol 不一定指代字符。它可能指代单词 或其他文本单元。然而，他们的意思是，他们将经典的熵公式应用于个别事件的概率(字符、单词等)，而不是复杂或条件事件的概率。