tensorflow - tensorflow 中的简单 softmax 分类器

Question

所以我尝试在 TensorFlow 中编写一个简单的 softmax 分类器。

这是代码:

# Neural network parameters
n_hidden_units = 500
n_classes = 10

# training set placeholders
input_X = tf.placeholder(dtype='float32',shape=(None,X_train.shape[1], X_train.shape[2]),name="input_X")
input_y = tf.placeholder(dtype='int32', shape=(None,), name="input_y")

# hidden layer
dim = X_train.shape[1]*X_train.shape[2] # dimension of each traning data point
flatten_X = tf.reshape(input_X, shape=(-1, dim))
weights_hidden_layer = tf.Variable(initial_value=np.zeros((dim,n_hidden_units)), dtype ='float32')
bias_hidden_layer = tf.Variable(initial_value=np.zeros((1,n_hidden_units)), dtype ='float32')
hidden_layer_output = tf.nn.relu(tf.matmul(flatten_X, weights_hidden_layer) + bias_hidden_layer)

# output layer
weights_output_layer = tf.Variable(initial_value=np.zeros((n_hidden_units,n_classes)), dtype ='float32')
bias_output_layer = tf.Variable(initial_value=np.zeros((1,n_classes)), dtype ='float32')
output_logits = tf.matmul(hidden_layer_output, weights_output_layer) + bias_output_layer
predicted_y = tf.nn.softmax(output_logits)

# loss
one_hot_labels = tf.one_hot(input_y, depth=n_classes, axis = -1)
loss = tf.losses.softmax_cross_entropy(one_hot_labels, output_logits)

# optimizer
optimizer = tf.train.MomentumOptimizer(0.01, 0.5).minimize(
    loss, var_list=[weights_hidden_layer, bias_hidden_layer, weights_output_layer, bias_output_layer])

编译完成，我检查了所有张量的形状，它与我的预期一致。

但是，我尝试使用以下代码运行优化器:

# running the optimizer
s = tf.InteractiveSession()
s.run(tf.global_variables_initializer())
for i in range(5):
    s.run(optimizer, {input_X: X_train, input_y: y_train})
    loss_i = s.run(loss, {input_X: X_train, input_y: y_train})
print("loss at iter %i:%.4f" % (i, loss_i))

并且损失在所有迭代中保持相同!

我一定搞砸了一些东西，但我看不出是什么。

有什么想法吗？如果有人留下有关代码风格和/或 tensorflow 技巧的评论，我也很感激。

Answer 1

你犯了一个错误。您正在使用np.zeros初始化权重。使用np.random.normal。您可以通过使用进入特定神经元的输入数量来选择此高斯分布的平均值。您可以阅读更多相关信息here .

您想要使用高斯分布进行初始化的原因是因为您想要打破对称性。如果所有权重均由零初始化，那么您可以使用反向传播来查看所有权重的演变相同。