- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我正在训练以下模型:
with slim.arg_scope(inception_arg_scope(is_training=True)):
logits_v, endpoints_v = inception_v3(all_v, num_classes=25, is_training=True, dropout_keep_prob=0.8,
spatial_squeeze=True, reuse=reuse_variables, scope='vis')
logits_p, endpoints_p = inception_v3(all_p, num_classes=25, is_training=True, dropout_keep_prob=0.8,
spatial_squeeze=True, reuse=reuse_variables, scope='pol')
pol_features = endpoints_p['pol/features']
vis_features = endpoints_v['vis/features']
eps = 1e-08
loss = tf.sqrt(tf.maximum(tf.reduce_sum(tf.square(pol_features - vis_features), axis=1, keep_dims=True), eps))
# rest of code
saver = tf.train.Saver(tf.global_variables())
在哪里
def inception_arg_scope(weight_decay=0.00004,
batch_norm_decay=0.9997,
batch_norm_epsilon=0.001, is_training=True):
normalizer_params = {
'decay': batch_norm_decay,
'epsilon': batch_norm_epsilon,
'is_training': is_training
}
normalizer_fn = tf.contrib.layers.batch_norm
# Set weight_decay for weights in Conv and FC layers.
with slim.arg_scope([slim.conv2d, slim.fully_connected],
weights_regularizer=slim.l2_regularizer(weight_decay)):
with slim.arg_scope([slim.batch_norm, slim.dropout], is_training=is_training):
with slim.arg_scope(
[slim.conv2d],
weights_initializer=slim.variance_scaling_initializer(),
activation_fn=tf.nn.relu,
normalizer_fn=normalizer_fn,
normalizer_params=normalizer_params) as sc:
return sc
并且 inception_V3 被定义为 here .我的模型训练得很好,损失从 60 减少到不到 1。但是当我想在另一个文件中测试模型时:
with slim.arg_scope(inception_arg_scope(is_training=False)):
logits_v, endpoints_v = inception_v3(all_v, num_classes=25, is_training=False, dropout_keep_prob=0.8,
spatial_squeeze=True, reuse=reuse_variables, scope='vis')
logits_p, endpoints_p = inception_v3(all_p, num_classes=25, is_training=False, dropout_keep_prob=0.8,
spatial_squeeze=True, reuse=reuse_variables, scope='pol')
它给了我毫无意义的结果,或者更准确地说,所有训练和测试样本的损失是 1e-8
。当我更改 is_training=True
时,它会给出更合乎逻辑的结果,但损失仍然大于训练阶段(即使我正在测试训练数据)我对 VGG16 有同样的问题。当我使用不带 batch_norm 的 VGG 时,我的测试准确率为 %100,而当我使用 batch_norm 时,准确率为 0%。
我在这里错过了什么?谢谢,
最佳答案
我遇到了同样的问题并解决了。当你使用slim.batch_norm
时,一定要使用slim.learning.create_train_op
而不是tf.train.GradientDecentOptimizer(lr).minimize(loss)
或其他优化器。试试吧,看看它是否有效!
关于testing - Tensorflow batch_norm 在测试时无法正常工作(is_training=False),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/42770757/
我有一个 is_training 变量,我仍然需要在我的 main.py 文件中定义它,如下所示: is_training = tf.placeholder(tf.bool, name='is_tra
我正在训练以下模型: with slim.arg_scope(inception_arg_scope(is_training=True)): logits_v, endpoints_v = i
对此问题更准确的描述是,当 is_training 未显式设置为 true 时,MobileNet 表现不佳。我指的是 TensorFlow 在其模型存储库 https://github.com/te
我尝试使用 TensorFlow-Slim 中的批标准化层,如下所示: net = ... net = slim.batch_norm(net, scale = True, is_training =
我想在训练后将模型的 is_training 状态变为 False,我该怎么做? net = tf.layers.conv2d(inputs = features, filters = 64, ker
我想在训练集( is_training=True )和验证集( is_training=False )上运行给定的模型,特别是如何 dropout被申请;被应用。现在 prebuilt models公
我是一名优秀的程序员,十分优秀!