gpt4 book ai didi

optuna - 如何使学习率与修剪相适应?

转载 作者:行者123 更新时间:2023-12-04 15:42:16 30 4
gpt4 key购买 nike

这个问题的背景是通过运行 study.optimize() 来优化神经网络训练的超参数,启用默认剪枝并将学习率作为优化参数(这个问题可以推广到其他超参数).

高学习率最初可以产生良好的结果,可以在开始时大大降低每个中间步骤的损失,但会导致最终结果不佳。

低学习率可能会产生较差的初始结果,但最终值(value)会更高。

启用剪枝后,不会因为中间结果不佳而剪掉低学习率吗?这意味着最终的最佳参数会被错误地选择?

如何解决这个问题?使用另一个修枝剪会有帮助吗?谢谢!

最佳答案

我认为保护初始分数低但最终分数高(如大器晚成)的试验仍然是一个悬而未决的问题。正如您所提到的,现有的修剪器(例如 MedianPruner)倾向于修剪这种晚熟的植物。

一种可能的解决方案可能是学习曲线预测,这是一项根据中间分数估计最终分数的任务。如果预测器成功估计了最终分数,我们可以创建一个修剪器来保护大器晚成。期待学习曲线预测的研究进展。

关于optuna - 如何使学习率与修剪相适应?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/57447918/

30 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com