个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
29
4
我正在训练一个带有 dropout 的神经网络。碰巧的是，当我将 dropout 从 0.9 减少到 0.7 时，训练数据数据的损失(交叉验证错误)也会减少。我还注意到，随着我减少 dropout 参数，准确性会提高。
这对我来说似乎很奇怪。是否有意义？
最佳答案
Dropout 是一种正则化技术。您应该仅使用它来减少方差(验证性能与训练性能)。它不是为了减少偏差，您不应该以这种方式使用它。 这是非常具有误导性的。
您看到这种行为的原因可能是您对 dropout 使用了非常高的值。 0.9 意味着你中和了太多的神经元。有道理的是，一旦你改为使用 0.7，网络就会在训练集上学习时使用更多的神经元。因此，对于较低的值，性能会提高。
您通常应该看到训练性能有所下降，同时在验证集上提高了性能(如果您没有，至少在测试集上没有)。当使用 dropout 时，这是您正在寻找的所需行为。 你得到的当前行为是因为如果辍学值非常高。
从 0.2 或 0.3 开始 并比较偏差与方差，以获得良好的 dropout 值。
我明确的建议:不要用它来改善偏差，而是减少方差(验证集上的错误)。
为了更好地适应训练集，我建议:
关于neural-network - dropout 可以提高训练数据的性能吗？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/59044351/
29
4
0
我遇到过上述术语，但不确定它们之间的区别。 我的理解是 MC dropout 是正常的 dropout，它在测试期间也是活跃的，允许我们在多次测试运行中得到模型不确定性的估计。至于 channel-w
我正在从 deeplearning.ai 学习神经网络中的正则化类(class)。在 dropout 正则化中，教授说如果应用 dropout，计算的激活值将小于未应用 dropout 时(测试时)。
有两种方法可以执行dropout: torch.nn.Dropout torch.nn.function.Dropout 我问: 它们之间有区别吗？ 我什么时候应该使用其中一种而不是另一种？ 当我切换
根据此链接，keep_prob 的值必须在 (0,1] 之间: Tensorflow manual 否则我会得到值错误: ValueError: If keep_prob is not in (0,
我想在训练时从每个批处理的顺序 Keras 模型中的 dropout 层中提取并存储 dropout mask [1/0 数组]。我想知道在 Keras 中是否有一种直接的方法可以做到这一点，或者我是
来自 Keras 文档: dropout:在 0 和 1 之间 float 。要丢弃的单位分数 输入的线性变换。 recurrent_dropout:在 0 和 1 之间 float 。 drop 用
keras中的Dropout层与dropout和recurrent_droput参数有什么区别？它们都有相同的目的吗？ 示例: model.add(Dropout(0.2)) # layer mod
我很困惑是使用 tf.nn.dropout 还是 tf.layers.dropout。 许多 MNIST CNN 示例似乎使用 tf.nn.droput，将 keep_prop 作为参数之一。 但它与
我目前正在尝试使用 Keras( tensorflow 后端)建立一个(LSTM)循环神经网络。我想使用带有 MC Dropout 的变分 dropout。我相信变分 dropout 已经通过 LST
tensorflow config dropout wrapper具有可以设置的三种不同的丢失概率:input_keep_prob、output_keep_prob、state_keep_prob。
tensorflow config dropout wrapper具有可以设置的三种不同的丢失概率:input_keep_prob、output_keep_prob、state_keep_prob。
我想在我的网络中添加 word dropout，以便我可以有足够的训练示例来训练“unk”标记的嵌入。据我所知，这是标准做法。假设unk token的索引为0，padding的索引为1(方便的话我们可
dropout 层只应该在模型训练期间使用，而不是在测试期间使用。 如果我的 Keras 序列模型中有一个 dropout 层，我是否需要在做之前做一些事情来删除或沉默它 model.predict(
我试图了解辍学对验证平均绝对误差(非线性回归问题)的影响。 无辍学 辍学率为 0.05 辍学率为 0.075 在没有任何 dropouts 的情况下，验证损失大于训练损失，如1所示。我的理解是，验证损
玩具回归示例。使用 dropout=0.0 这很好用并且成本降低了。使用 dropout=0.5 我得到错误: ValueError: Got num_leading_axes=1 for a 1-d
如何在训练期间更改 Dropout？例如 Dropout= [0.1, 0.2, 0.3] 我尝试将其作为列表传递，但我无法使其工作。 最佳答案 要在训练过程中改变 dropout 概率，您应该使用
我有一个用多个 LayerNormalization 层训练的模型，我不确定在激活 dropout 进行预测时简单的权重转移是否正常工作。这是我正在使用的代码: from tensorflow.ker
我正在训练一个带有 dropout 的神经网络。碰巧的是，当我将 dropout 从 0.9 减少到 0.7 时，训练数据数据的损失(交叉验证错误)也会减少。我还注意到，随着我减少 dropout 参
根据 Keras 文档，dropout 层在训练和测试阶段表现出不同的行为: Note that if your model has a different behavior in training
我已经在多个地方看到您应该在验证和测试阶段禁用 dropout，并且只在训练阶段保留它。有什么理由让这种情况发生吗？我一直找不到一个很好的理由，只是想知道。 我问的一个原因是因为我训练了一个带有 dr
我是一名优秀的程序员,十分优秀！