python - 为什么 model.fit() 使用 categorical_crossentropy 损失函数通过 tf.train.AdamOptimizer 引发 ValueError ？

Question

我正在关注 TensorFlow basic classification example使用“入门”文档中提供的 Keras API。我按原样完成了教程，但是如果我将损失函数从 sparse_categorical_crossentropy 更改为 categorical_crossentropy，则代码如下:

model = keras.Sequential([
    keras.layers.Flatten(input_shape=(28, 28)),
    keras.layers.Dense(128, activation=tf.nn.relu),
    keras.layers.Dense(10, activation=tf.nn.softmax)
])

model.compile(optimizer=tf.train.AdamOptimizer(), 
          loss='categorical_crossentropy',
          metrics=['accuracy'])

model.fit(train_images, train_labels, epochs=5)

训练/拟合步骤失败，并出现以下错误:

ValueError: Error when checking target: expected dense_1 to have shape (10,) but got array with shape (1,)

有关损失函数的文档并未深入研究预期的输入和输出。显然这里存在维度问题，但是如果有专家可以给出详细的解释，那么这个损失函数或任何其他损失函数引发这个 ValueError 的原因是什么？

Answer 1

sparse_categorical_crossentropy 损失期望提供的标签是整数，例如 0、1、2 等，其中每个整数表示一个特定的类。例如，类别 0 可能是狗，类别 1 可能是猫，类别 2 可能是狮子。另一方面，categorical_crossentropy 损失采用one-hot 编码标签，例如 [1,0,0]、[0, 1,0]、[0,0,1] 并且它们被解释为索引 1 指示样本的类别。例如，[0,0,1] 表示该样本属于第 2 类(即狮子)。此外，在分类模型的背景下，由于输出通常是由softmax层的输出产生的概率分布，因此这种形式的标签也对应于概率分布并与模型的输出匹配。同样，[0,0,1] 表示以 1 的概率我们知道该样本属于第二类。

sparse_categorical_crossentropy 几乎是使用 categorical_crossentropy 作为损失函数的便捷方法，其中 Keras(或其后端)将在内部处理整数标签，而您无需手动将标签转换为 one-hot 编码形式。但是，如果您提供的标签是 one-hot 编码的，那么您必须使用 categorical_crossentropy 作为损失函数。

您可能还有兴趣查看 this answer此外，我还简要解释了不同类型分类任务中使用的激活函数和损失函数以及标签的格式。