python - 为什么在softmax_cross_entropy_with_logits中将logit解释为 'unscaled log probabililty'？

Question

在 tensorflow 文档(softmax_cross_entropy_with_logits)中，他们说“logits:未缩放的对数概率”。什么是“对数概率”？首先，我知道 'logits' 是 '标准化前的输出' 或 'score for class'。

logits = tf.matmul(X,W) + b
hypothesis = tf.nn.softmax(logits)

如果我通过 tf.matmul(X,W) + b 得到 [1.5, 2.4, 0,7]，则 [1.5, 2.4, 0,7] 是 logits(score) 并且这是未缩放的。到这个阶段我还是能理解的。但是，我不明白为什么 [1.5, 2.4, 0.7] 是 'logprobability'。

Answer 1

如果您将 softmax 函数的输出解释为概率(正如我们喜欢做的那样)，那么很容易看出“对数概率”来自:

softmax函数是

\exp{z_k}/\sum_i{\exp{z_i}},

用 z_i 作为“logits”的组成部分。分母只负责标准化，即它确保所有输出总和为 1(如果我们想将它们解释为一组互斥类的概率，这是有意义的)。因此，看看分子，softmax 函数的输出基本上就是 exp(z)。如果我们将其解释为概率，那么 z(“logits”)就是非归一化概率的对数。