- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
因为“层”一词在应用于卷积层时通常意味着不同的事物(有些将池化后的所有内容视为单个层,另一些将卷积、非线性和池化视为单独的“层”;see fig 9.7)我不清楚在卷积层中何处应用 dropout。
非线性和池化之间是否会发生dropout?
<小时/>例如,在 TensorFlow 中,它会是这样的:
kernel_logits = tf.nn.conv2d(input_tensor, ...) + biases
activations = tf.nn.relu(kernel_logits)
kept_activations = tf.nn.dropout(activations, keep_prob)
output = pool_fn(kept_activations, ...)
最佳答案
您可能可以尝试在不同的地方应用 dropout,但在防止过度拟合方面,不确定您会在池化之前看到很多问题。我在 CNN 中看到的是,tensorflow.nn.dropout
在非线性和池化之后应用:
# Create a convolution + maxpool layer for each filter size
pooled_outputs = []
for i, filter_size in enumerate(filters):
with tf.name_scope("conv-maxpool-%s" % filter_size):
# Convolution Layer
filter_shape = [filter_size, embedding_size, 1, num_filters]
W = tf.Variable(tf.truncated_normal(filter_shape, stddev=0.1), name="W")
b = tf.Variable(tf.constant(0.1, shape=[num_filters]), name="b")
conv = tf.nn.conv2d(
self.embedded_chars_expanded,
W,
strides=[1, 1, 1, 1],
padding="VALID",
name="conv")
# Apply nonlinearity
h = tf.nn.relu(tf.nn.bias_add(conv, b), name="relu")
# Maxpooling over the outputs
pooled = tf.nn.max_pool(
h,
ksize=[1, sequence_length - filter_size + 1, 1, 1],
strides=[1, 1, 1, 1],
padding='VALID',
name="pool")
pooled_outputs.append(pooled)
# Combine all the pooled features
num_filters_total = num_filters * len(filters)
self.h_pool = tf.concat(3, pooled_outputs)
self.h_pool_flat = tf.reshape(self.h_pool, [-1, num_filters_total])
# Add dropout
with tf.name_scope("dropout"):
self.h_drop = tf.nn.dropout(self.h_pool_flat, self.dropout_keep_prob)
关于machine-learning - 我应该在哪里将 dropout 应用于卷积层?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/37573674/
我遇到过上述术语,但不确定它们之间的区别。 我的理解是 MC dropout 是正常的 dropout,它在测试期间也是活跃的,允许我们在多次测试运行中得到模型不确定性的估计。至于 channel-w
我正在从 deeplearning.ai 学习神经网络中的正则化类(class)。在 dropout 正则化中,教授说如果应用 dropout,计算的激活值将小于未应用 dropout 时(测试时)。
有两种方法可以执行dropout: torch.nn.Dropout torch.nn.function.Dropout 我问: 它们之间有区别吗? 我什么时候应该使用其中一种而不是另一种? 当我切换
根据此链接,keep_prob 的值必须在 (0,1] 之间: Tensorflow manual 否则我会得到值错误: ValueError: If keep_prob is not in (0,
我想在训练时从每个批处理的顺序 Keras 模型中的 dropout 层中提取并存储 dropout mask [1/0 数组]。我想知道在 Keras 中是否有一种直接的方法可以做到这一点,或者我是
来自 Keras 文档: dropout:在 0 和 1 之间 float 。要丢弃的单位分数 输入的线性变换。 recurrent_dropout:在 0 和 1 之间 float 。 drop 用
keras中的Dropout层与dropout和recurrent_droput参数有什么区别?它们都有相同的目的吗? 示例: model.add(Dropout(0.2)) # layer mod
我很困惑是使用 tf.nn.dropout 还是 tf.layers.dropout。 许多 MNIST CNN 示例似乎使用 tf.nn.droput,将 keep_prop 作为参数之一。 但它与
我目前正在尝试使用 Keras( tensorflow 后端)建立一个(LSTM)循环神经网络。我想使用带有 MC Dropout 的变分 dropout。我相信变分 dropout 已经通过 LST
tensorflow config dropout wrapper具有可以设置的三种不同的丢失概率:input_keep_prob、output_keep_prob、state_keep_prob。
tensorflow config dropout wrapper具有可以设置的三种不同的丢失概率:input_keep_prob、output_keep_prob、state_keep_prob。
我想在我的网络中添加 word dropout,以便我可以有足够的训练示例来训练“unk”标记的嵌入。据我所知,这是标准做法。假设unk token的索引为0,padding的索引为1(方便的话我们可
dropout 层只应该在模型训练期间使用,而不是在测试期间使用。 如果我的 Keras 序列模型中有一个 dropout 层,我是否需要在做之前做一些事情来删除或沉默它 model.predict(
我试图了解辍学对验证平均绝对误差(非线性回归问题)的影响。 无辍学 辍学率为 0.05 辍学率为 0.075 在没有任何 dropouts 的情况下,验证损失大于训练损失,如1所示。我的理解是,验证损
玩具回归示例。使用 dropout=0.0 这很好用并且成本降低了。使用 dropout=0.5 我得到错误: ValueError: Got num_leading_axes=1 for a 1-d
如何在训练期间更改 Dropout?例如 Dropout= [0.1, 0.2, 0.3] 我尝试将其作为列表传递,但我无法使其工作。 最佳答案 要在训练过程中改变 dropout 概率,您应该使用
我有一个用多个 LayerNormalization 层训练的模型,我不确定在激活 dropout 进行预测时简单的权重转移是否正常工作。这是我正在使用的代码: from tensorflow.ker
我正在训练一个带有 dropout 的神经网络。碰巧的是,当我将 dropout 从 0.9 减少到 0.7 时,训练数据数据的损失(交叉验证错误)也会减少。我还注意到,随着我减少 dropout 参
根据 Keras 文档,dropout 层在训练和测试阶段表现出不同的行为: Note that if your model has a different behavior in training
我已经在多个地方看到您应该在验证和测试阶段禁用 dropout,并且只在训练阶段保留它。有什么理由让这种情况发生吗?我一直找不到一个很好的理由,只是想知道。 我问的一个原因是因为我训练了一个带有 dr
我是一名优秀的程序员,十分优秀!