machine-learning - TensorFlow:更改丢失概率等超参数是否会增加训练所需的 GPU 内存？

Question

在更改了一些超参数(例如 dropout 和权重衰减)后，我发现即使使用 11GB 内存 Tesla K80，我的 batch_size 也必须不断减小才能适应训练。我曾经使用批量大小 32 进行训练，但现在即使批量大小为 24，在更改超参数后也会导致资源耗尽错误。为什么会这样？

Answer 1

更改超参数可以更改网络大小的唯一情况是超参数值可以启用/禁用层。

例如，如果将 keep_prob dropout 超参数设置为 1，则不会创建图层本身，但会返回输入。

权重衰减也会发生同样的情况:如果权重衰减惩罚等于0，则不会添加损失函数的衰减项。

在任何其他情况下(例如 ]0, 1[ 中的 keep_prob)，都会添加该层，并且其大小保持不变。

问题可能应该出在图形定义中的其他地方。