TensorFlow 交叉熵教程

Question

我刚刚通过 TensorFlow教程 ( https://www.tensorflow.org/versions/r0.8/tutorials/mnist/pros/index.html#deep-mnist-for-experts )。

我有两个问题:

为什么要用cost function with y_ * log(y) ?不应该是y_ * log(y) + (1-y_) * log(1-y) ?

怎么样TensorFlow知道如何计算 gradient的cost function我用？难道我们不应该有个地方告诉我们TensorFlow如何计算gradient ?

谢谢!

Answer 1

当y = 1或0时，可以使用y_ * log(y) + (1-y_) * log(1-y)，但是当y是one-hot encoding时，y=[0 1] or [1 0] ，我们使用 y_ * log(y)。事实上，它们是一样的。

TensorFlow 中的一切都是图形，包括您的成本函数。

所以每个节点都知道他们的操作和局部梯度。 Tensorflow 使用反向传播(链式法则)使用图计算梯度。