tensorflow - 如何自动选择批量大小以适合 GPU？

Question

我正在用 GPU 训练深度神经网络。如果我制作的样本太大、批次太大或网络太深，就会出现内存不足错误。在这种情况下，有时可以制作较小的批次并仍然进行训练。

是否可以计算训练所需的 GPU 大小并预先确定要选择的批量大小？

更新

如果我打印网络摘要，它会显示“可训练参数”的数量。我不能从这个值估计吗？例如，拿这个，乘以批量大小，双倍梯度等？

Answer 1

不，不可能自动执行此操作。因此，如果您希望您的批次尽可能多，您需要经过大量的反复试验才能找到合适的尺寸。

Stanford's CNN class提供了一些如何估计内存大小的指导，但所有建议都与 CNN 相关(不确定你训练什么)。