tensorflow - Tensorboard 和 Dropout 层-6ren

tensorflow - Tensorboard 和 Dropout 层

转载作者：行者123 更新时间：2023-12-01 00:24:10

25

4

我有一个非常基本的查询。我制作了 4 个几乎相同(不同是输入形状)的 CNN，并在连接到完全连接层的前馈网络时将它们合并。

几乎相同的 CNN 的代码:

model3 = Sequential()
model3.add(Convolution2D(32, (3, 3), activation='relu', padding='same', 
                                     input_shape=(batch_size[3], seq_len, channels)))
model3.add(MaxPooling2D(pool_size=(2, 2)))
model3.add(Dropout(0.1))
model3.add(Convolution2D(64, (3, 3), activation='relu', padding='same'))
model3.add(MaxPooling2D(pool_size=(2, 2)))
model3.add(Flatten())

但是在张量板上，我看到所有的 Dropout 层都是相互连接的，并且 Dropout1 的颜色与 Dropout2、3、4 等颜色不同，它们都是相同的颜色。

最佳答案

我知道这是一个老问题，但我自己也有同样的问题，现在我才意识到发生了什么

只有在我们训练模型时才会应用 Dropout。这应该在我们评估/预测时停用。为此，keras 创建了一个 learning_phase占位符，设置为 1.0如果我们正在训练模型。
这个占位符是在第一个 Dropout 内创建的。您创建的图层并在所有图层之间共享。所以这就是你在那里看到的!

关于tensorflow - Tensorboard 和 Dropout 层，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/46259467/

25

4

0

文章推荐： mysql - 导入错误 : No module named 'MySQLdb' - django + mysql

文章推荐： mysql - SQL查询中年龄计算的性能

python - "Dropout"、 "Monte-Carlo Dropout"和 "Channel-wise Dropout"有什么区别？
我遇到过上述术语，但不确定它们之间的区别。我的理解是 MC dropout 是正常的 dropout，它在测试期间也是活跃的，允许我们在多次测试运行中得到模型不确定性的估计。至于 channel-w
machine-learning - 反转 dropout 如何补偿 dropout 的影响并保持期望值不变？
我正在从 deeplearning.ai 学习神经网络中的正则化类(class)。在 dropout 正则化中，教授说如果应用 dropout，计算的激活值将小于未应用 dropout 时(测试时)。
python - Pytorch:nn.Dropout 与 F.dropout
有两种方法可以执行dropout: torch.nn.Dropout torch.nn.function.Dropout 我问: 它们之间有区别吗？我什么时候应该使用其中一种而不是另一种？当我切换
python - dropout 中的 keep_prob 值以及通过 dropout 获得最差结果
根据此链接，keep_prob 的值必须在 (0,1] 之间: Tensorflow manual 否则我会得到值错误: ValueError: If keep_prob is not in (0,
python - 从 keras dropout 层中提取 dropout mask？
我想在训练时从每个批处理的顺序 Keras 模型中的 dropout 层中提取并存储 dropout mask [1/0 数组]。我想知道在 Keras 中是否有一种直接的方法可以做到这一点，或者我是
Keras:LSTM dropout 和 LSTM recurrent dropout 的区别
来自 Keras 文档: dropout:在 0 和 1 之间 float 。要丢弃的单位分数输入的线性变换。 recurrent_dropout:在 0 和 1 之间 float 。 drop 用
python - 任何 keras 层中的 dropout 层和 dropout 参数有什么区别
keras中的Dropout层与dropout和recurrent_droput参数有什么区别？它们都有相同的目的吗？示例: model.add(Dropout(0.2)) # layer mod
tensorflow :tf.nn.dropout 和 tf.layers.dropout 有什么区别
我很困惑是使用 tf.nn.dropout 还是 tf.layers.dropout。许多 MNIST CNN 示例似乎使用 tf.nn.droput，将 keep_prop 作为参数之一。但它与
keras - 如何在 keras 上的变分 dropout LSTM 层上使用 MC Dropout？
我目前正在尝试使用 Keras( tensorflow 后端)建立一个(LSTM)循环神经网络。我想使用带有 MC Dropout 的变分 dropout。我相信变分 dropout 已经通过 LST
tensorflow - 如何正确使用变分循环 dropout
tensorflow config dropout wrapper具有可以设置的三种不同的丢失概率:input_keep_prob、output_keep_prob、state_keep_prob。
tensorflow - 如何正确使用变分循环 dropout
tensorflow config dropout wrapper具有可以设置的三种不同的丢失概率:input_keep_prob、output_keep_prob、state_keep_prob。
pytorch - 在pytorch中实现word dropout
我想在我的网络中添加 word dropout，以便我可以有足够的训练示例来训练“unk”标记的嵌入。据我所知，这是标准做法。假设unk token的索引为0，padding的索引为1(方便的话我们可
Keras Dropout 层模型预测
dropout 层只应该在模型训练期间使用，而不是在测试期间使用。如果我的 Keras 序列模型中有一个 dropout 层，我是否需要在做之前做一些事情来删除或沉默它 model.predict(
使用 Dropout 时的验证损失
我试图了解辍学对验证平均绝对误差(非线性回归问题)的影响。无辍学辍学率为 0.05 辍学率为 0.075 在没有任何 dropouts 的情况下，验证损失大于训练损失，如1所示。我的理解是，验证损
python - 为什么我不能在千层面回归模型的最后一层使用 dropout？
玩具回归示例。使用 dropout=0.0 这很好用并且成本降低了。使用 dropout=0.5 我得到错误: ValueError: Got num_leading_axes=1 for a 1-d
pytorch - 在训练期间更改 Dropout 值
如何在训练期间更改 Dropout？例如 Dropout= [0.1, 0.2, 0.3] 我尝试将其作为列表传递，但我无法使其工作。最佳答案要在训练过程中改变 dropout 概率，您应该使用
python - 我的带有蒙特卡洛 dropout 的模型是否应该提供类似于确定性预测的平均预测？
我有一个用多个 LayerNormalization 层训练的模型，我不确定在激活 dropout 进行预测时简单的权重转移是否正常工作。这是我正在使用的代码: from tensorflow.ker
neural-network - dropout 可以提高训练数据的性能吗？
我正在训练一个带有 dropout 的神经网络。碰巧的是，当我将 dropout 从 0.9 减少到 0.7 时，训练数据数据的损失(交叉验证错误)也会减少。我还注意到，随着我减少 dropout 参
tensorflow - Dropout 层在测试/训练阶段的行为
根据 Keras 文档，dropout 层在训练和测试阶段表现出不同的行为: Note that if your model has a different behavior in training
neural-network - 为什么在验证和测试期间禁用 dropout？
我已经在多个地方看到您应该在验证和测试阶段禁用 dropout，并且只在训练阶段保留它。有什么理由让这种情况发生吗？我一直找不到一个很好的理由，只是想知道。我问的一个原因是因为我训练了一个带有 dr

首页

博学

6Ren·AI

商城

tensorflow - Tensorboard 和 Dropout 层