tensorflow - 如何监控死亡的relus

Question

我想我可能对死的 Relus 有问题，但我真的不知道如何用 tensorboard 或任何其他方式检查它。您的帮助将不胜感激。

Answer 1

我最初自己也有同样的问题，但找不到答案，所以这就是我使用 Tensorboard 的方法(假设对 Tensorboard 有一定的了解)。

activation = tf.nn.relu(layer) 
active = tf.count_nonzero(tf.count_nonzero(activation, axis=0))
tf.summary.scalar('pct-active-neurons', active / layer.shape[1])

在这个片段中， activation是我对这个特定层的 ReLU 后激活。第一次调用 tf.count_nonzero(out, axis=0)正在计算每个神经元在当前训练步骤的所有训练示例中看到的激活次数。第二次通话 tf.count_nonzero( ... )包装第一个调用的函数计算该层中有多少神经元对于这一步的一批训练样本至少有一次激活。最后，我通过将在训练步骤中至少有一次激活的神经元数量除以该层的神经元总数，将其转换为百分比。

有关设置 Tensorboard 的更多信息，请访问 here .