tensorflow - 权重矩阵提供什么信息？

Question

我正在处理二元分类问题。我只是打印了部分代码。我熟悉 softmax 函数，它给出了属于某个类别的概率。在 W_fc 我无法获得有关类(class)的任何信息。所以我想知道W_fc提供什么信息？ W_fc 中打印的值有何意义？我可以绘制 W_fc 的直方图吗？我将如何做到这一点？

W_fc = weight_variable([input_dim, 2])
logits = tf.matmul(pool_2D, W_fc)   #(batch_size,2)
y_conv=tf.nn.softmax(logits)

#Fully connected layer(W_fc)
[[-0.07672054  0.2260601 ]
[ 0.36111656 -0.36078873]
[ 0.08611391 -0.23779725]
[-0.07158212 -0.21373497]

#softmax_out(y_conv)
[[0.80258745 0.19741252]
[0.76372457 0.23627539]
[0.8738684  0.12613155]
[0.7311098  0.26889023]

Answer 1

W_fc 这里很可能指的是与fully c连接层相关的W八矩阵你的神经网络。有关这些功能的简单易懂的解释，请参阅此 video 。

这些权重的值本质上定义了神经网络的行为，而实现这些值的良好配置正是我们在神经网络训练过程中要解决的问题。训练过程通过反向传播逐渐调整这些值，以提高训练数据上的网络性能，希望这些权重中编码的信息在面对新数据时保持正确。

至于“W_fc提供什么信息？”。对于用户来说:不多。好吧，至少不是以可观察的形式。除了最简单的网络之外，这些权重之间的相互作用以及它们对网络性能的贡献方式都很复杂。

在卷积神经网络 (CNN) 中，由于权重连接的空间局部性质，权重中的值更容易理解。在这些情况下，随着您深入网络( see here )，这些权重组充当复杂性不断增加的特征检测器。

就值的直方图而言，您当然可以这样做(请参阅 matplotlib.hist() )。但这提供的有用信息很少。尽管有人认为权重中较低的值可以更好地概括新数据( regularisation 的基础)，并且任何占主导地位的高值权重都可以作为 overtraining 的证据。 。