tensorflow - 了解 TensorBoard(权重)直方图

Question

在 TensorBoard 中查看和理解标量值非常简单。然而，目前尚不清楚如何理解直方图。

例如，它们是我的网络权重的直方图。

(修复错误后感谢sunside) 解释这些的最佳方式是什么？第 1 层权重看起来大部分是平坦的，这意味着什么？

我在这里添加了网络构建代码。

X = tf.placeholder(tf.float32, [None, input_size], name="input_x")
x_image = tf.reshape(X, [-1, 6, 10, 1])
tf.summary.image('input', x_image, 4)

# First layer of weights
with tf.name_scope("layer1"):
    W1 = tf.get_variable("W1", shape=[input_size, hidden_layer_neurons],
                         initializer=tf.contrib.layers.xavier_initializer())
    layer1 = tf.matmul(X, W1)
    layer1_act = tf.nn.tanh(layer1)
    tf.summary.histogram("weights", W1)
    tf.summary.histogram("layer", layer1)
    tf.summary.histogram("activations", layer1_act)

# Second layer of weights
with tf.name_scope("layer2"):
    W2 = tf.get_variable("W2", shape=[hidden_layer_neurons, hidden_layer_neurons],
                         initializer=tf.contrib.layers.xavier_initializer())
    layer2 = tf.matmul(layer1_act, W2)
    layer2_act = tf.nn.tanh(layer2)
    tf.summary.histogram("weights", W2)
    tf.summary.histogram("layer", layer2)
    tf.summary.histogram("activations", layer2_act)

# Third layer of weights
with tf.name_scope("layer3"):
    W3 = tf.get_variable("W3", shape=[hidden_layer_neurons, hidden_layer_neurons],
                         initializer=tf.contrib.layers.xavier_initializer())
    layer3 = tf.matmul(layer2_act, W3)
    layer3_act = tf.nn.tanh(layer3)

    tf.summary.histogram("weights", W3)
    tf.summary.histogram("layer", layer3)
    tf.summary.histogram("activations", layer3_act)

# Fourth layer of weights
with tf.name_scope("layer4"):
    W4 = tf.get_variable("W4", shape=[hidden_layer_neurons, output_size],
                         initializer=tf.contrib.layers.xavier_initializer())
    Qpred = tf.nn.softmax(tf.matmul(layer3_act, W4)) # Bug fixed: Qpred = tf.nn.softmax(tf.matmul(layer3, W4))
    tf.summary.histogram("weights", W4)
    tf.summary.histogram("Qpred", Qpred)

# We need to define the parts of the network needed for learning a policy
Y = tf.placeholder(tf.float32, [None, output_size], name="input_y")
advantages = tf.placeholder(tf.float32, name="reward_signal")

# Loss function
# Sum (Ai*logp(yi|xi))
log_lik = -Y * tf.log(Qpred)
loss = tf.reduce_mean(tf.reduce_sum(log_lik * advantages, axis=1))
tf.summary.scalar("Q", tf.reduce_mean(Qpred))
tf.summary.scalar("Y", tf.reduce_mean(Y))
tf.summary.scalar("log_likelihood", tf.reduce_mean(log_lik))
tf.summary.scalar("loss", loss)

# Learning
train = tf.train.AdamOptimizer(learning_rate=learning_rate).minimize(loss)

Answer 1

网络似乎在第一层到第三层中没有学到任何东西。最后一层确实发生了变化，所以这意味着梯度可能有问题(如果你手动篡改它们)，你通过仅优化其权重来限制学习到最后一层，或者最后一层真的'吃掉所有错误。也可能只学到了偏见。虽然网络似乎学到了一些东西，但它可能没有充分发挥其潜力。这里需要更多的背景信息，但是调整学习率(例如使用较小的学习率)可能值得一试。

一般来说，直方图显示某个值相对于其他值出现的次数。简单来说，如果可能的值在 0..9 范围内，并且您会看到值 0 上的金额出现 10 峰值，这意味着 10 个输入采用值 0；相反，如果直方图显示 0..9 的所有值都处于 1 的稳定状态，则意味着对于 10 个输入，每个可能的值 0.. 9恰好出现一次。当您通过总和对所有直方图值进行归一化时，您还可以使用直方图来可视化概率分布；如果这样做，您将直观地获得某个值(在 x 轴上)出现的可能性(与其他输入相比)。

现在对于layer1/weights，平稳期意味着:

• 大多数权重范围在 -0.15 到 0.15
• 权重具有这些值的可能性(大部分)相同，即它们(几乎)均匀分布

换句话来说，几乎相同数量的权重具有值 -0.15、0.0、0.15 以及介于两者之间的所有值。有些权重的值稍小或稍高。简而言之，这看起来就像使用均值为零且值范围 -0.15..0.15 ...给予或接受的均匀分布来初始化权重。如果您确实使用统一初始化，那么当网络尚未经过训练时，这是典型的情况。

相比之下，layer1/activations 形成类似钟形曲线(高斯)的形状:这些值以特定值为中心，在本例中为 0，但它们也可能大于或小于该值(同样可能，因为它是对称的)。大多数值看起来都接近 0 的平均值，但值的范围确实是从 -0.8 到 0.8。我假设将layer1/activations视为批处理中所有层输出的分布。您可以看到这些值确实随着时间的推移而变化。

第 4 层直方图没有告诉我任何具体信息。从形状来看，只是表明-0.1、0.05和0.25附近的一些权重值出现的概率较高；原因可能是每个神经元的不同部分实际上获取了相同的信息并且基本上是冗余的。这可能意味着您实际上可以使用较小的网络，或者您的网络有可能学习更多的区别特征以防止过度拟合。但这些只是假设。

此外，正如下面的评论中已经指出的，请添加偏差单位。如果将它们排除在外，您将强制将网络限制为可能无效的解决方案。