python - 来自 Tensorflow 中的 sparse_softmax_cross_entropy_with_logits 的 NaN

Question

当我尝试在 tensorflow 中使用 sparse_softmax_cross_entropy_with_logits 损失函数时得到 NaN。我有一个简单的网络，例如:

layer = tf.nn.relu(tf.matmul(inputs, W1) + b1)
layer = tf.nn.relu(tf.matmul(layer, W2) + b2)
logits = tf.matmul(inputs, W3) + b3
loss = tf.sparse_softmax_cross_entropy_with_logits(logits, labels)

我有很多类(~10000)，所以我想我得到的是 NaN，因为在我的至少一个示例中，对应于正确类的 logit 被截断为零。有没有办法避免这种情况？

Answer 1

事实证明，我的一些标签超出了范围(例如，当我的对数矩阵仅为 150 x 10000 时，标签为 14000)。事实证明，这会导致 NaN 而不是错误。