gpt4 book ai didi

deep-learning - Batch Norm 是否需要恒定的批量大小?

转载 作者:行者123 更新时间:2023-12-04 19:44:20 25 4
gpt4 key购买 nike

Batch normalization使用小批量均值和方差来归一化层输出。如果我训练一个批量大小为 100 的网络,但想在单次预测(批量大小 1)上使用经过训练的网络,我应该会遇到问题吗?
我是否应该在学习期间惩罚批规范层以收敛于身份变换以避免这种情况?

最佳答案

不,这样做没有问题,在测试时,批量归一化层只是缩放和移动输入,在训练时学习到的因素。

关于deep-learning - Batch Norm 是否需要恒定的批量大小?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/37091064/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com