gpt4 book ai didi

machine-learning - Caffe:如果内存中只能容纳一小部分怎么办?

转载 作者:行者123 更新时间:2023-11-30 08:22:31 25 4
gpt4 key购买 nike

我正在尝试训练一个非常大的模型。因此,我只能将非常小的批量大小放入 GPU 内存中。处理小批量的结果非常noisy gradient estimations .
我该怎么做才能避免这个问题?

最佳答案

您可以更改求解器参数中的iter_size。Caffe 在每个随机梯度下降步骤中累积 iter_size x batch_size 实例的梯度。因此,当由于内存有限而无法使用大的batch_size时,增加iter_size也可以获得更稳定的梯度。

关于machine-learning - Caffe:如果内存中只能容纳一小部分怎么办?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/36526959/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com