neural-network - 辍学实现 : Do all images in a batch get the same mask in Caffe?

Question

我只是想确认小批量中的所有图像是否都具有相同的 dropout mask。

澄清一下:假设一个大小为 1000 的向量通过 Dropout 层，最小批量大小为 100。现在，第一个图像向量的第 21 个和第 31 个元素被丢弃。对于批处理中所有剩余的 99 张图像，是否有必要删除第 21 个和第 31 个元素？还是每个图像都有一个单独的 mask ？

Answer 1

不，批处理中的每张图像都有一个独立的、完全随机的蒙版。

实际上，Dropout layer甚至不关心其输入的形状:它计算底部 Blob 中的元素数量(即对于 10 张图像、3 个 channel 和 224x224 的批量大小，它将是 10 * 3 * 224 * 224 = 1505280), 并生成相同数量的独立随机数。