machine-learning - 什么是最大熵？

Question

有人能给我一个清晰简单的最大熵分类定义吗？如果有人能提供一个清晰的类比，那将非常有帮助，因为我很难理解。

Answer 1

“最大熵”与“信息最少”同义。您不会想要一个信息量最少的分类器。这是关于如何建立先验的。坦率地说，“最大熵分类”就是一个使用流行语的例子。

举个无信息先验的例子，考虑给定一个六面物体。如果抛掷物体，出现任意给定面的概率为 1/6。这将是你之前的开始。这是信息最少的。你真的不想从其他任何事情开始，否则你会给以后的计算带来偏差。当然，如果您知道一侧会更频繁地出现，您应该将其纳入您的先验知识中。

贝叶斯公式为 P(H|E) = P(E|H)P(H)/P(D)其中 P(H) 是假设的先验，P(D) 是所有可能分子的总和。

对于要插入缺失单词的文本分类，E 是某个给定文档，H 是给定单词。 IOW，假设 H 是应该选择的单词，P(H) 是赋予该单词的权重。

最大熵文本分类意味着:从信息量最少的权重(先验)开始，并优化以找到最大化数据可能性的权重，即 P(D)。本质上，它是 EM 算法。

一个简单的朴素贝叶斯分类器会假设先验权重与单词在文档中出现的次数成正比。然而，这忽略了单词之间的相关性。

所谓的MaxEnt分类器考虑了相关性。

我想不出一个简单的例子来说明这一点，但我可以想到一些相关性。例如，英语中的“the missing”应该给予名词较高的权重，但如果动词的相对频率与给定名词相同，朴素贝叶斯分类器可能会给予动词相同的权重。考虑缺失的 MaxEnt 分类器会给名词更多的权重，因为它们在上下文中更有可能出现。