optuna - 如何使学习率与修剪相适应？-6ren

optuna - 如何使学习率与修剪相适应？

转载作者：行者123 更新时间：2023-12-04 15:42:16

29

4

这个问题的背景是通过运行 study.optimize() 来优化神经网络训练的超参数，启用默认剪枝并将学习率作为优化参数(这个问题可以推广到其他超参数).

高学习率最初可以产生良好的结果，可以在开始时大大降低每个中间步骤的损失，但会导致最终结果不佳。

低学习率可能会产生较差的初始结果，但最终值(value)会更高。

启用剪枝后，不会因为中间结果不佳而剪掉低学习率吗？这意味着最终的最佳参数会被错误地选择？

如何解决这个问题？使用另一个修枝剪会有帮助吗？谢谢!

最佳答案

我认为保护初始分数低但最终分数高(如大器晚成)的试验仍然是一个悬而未决的问题。正如您所提到的，现有的修剪器(例如 MedianPruner)倾向于修剪这种晚熟的植物。

一种可能的解决方案可能是学习曲线预测，这是一项根据中间分数估计最终分数的任务。如果预测器成功估计了最终分数，我们可以创建一个修剪器来保护大器晚成。期待学习曲线预测的研究进展。

关于optuna - 如何使学习率与修剪相适应？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/57447918/

29

4

0

文章推荐： tensorflow - 训练 CNN 后，其输出是否应该是确定性的？

文章推荐： c# - 与 Dapper 并行执行多个查询

文章推荐： android:elevation 不适用于矢量可绘制对象的 imageView

python - 使用 optuna LightGBMTunerCV 作为使用 optuna 进一步搜索的起点
我正在尝试将 LightGBM 用于回归问题(平均绝对误差/L1 - 或类似 Huber 或 pseud-Huber - 损失)，我主要想调整我的超参数。 LightGBMTunerCV在 optun
optuna - 如何使学习率与修剪相适应？
这个问题的背景是通过运行 study.optimize() 来优化神经网络训练的超参数，启用默认剪枝并将学习率作为优化参数(这个问题可以推广到其他超参数). 高学习率最初可以产生良好的结果，可以在开始
python - Optuna 多目标优化的最佳参数
使用 Optuna 执行单目标优化时，研究的最佳参数可使用: import optuna def objective(trial): x = trial.suggest_uniform('x'
python - Optuna 多目标优化的最佳参数
使用 Optuna 执行单目标优化时，研究的最佳参数可使用: import optuna def objective(trial): x = trial.suggest_uniform('x'
python - Optuna LightGBM LightGBMPruningCallback
我在寻找最佳 auc 的 lightgbm 建模中遇到错误。任何帮助将不胜感激。 import optuna from sklearn.model_selection import Stratifi
python - 如何针对 Optuna 中的多个指标进行优化
如何在 Optuna 的 objective 函数中同时优化多个指标。例如，我正在训练一个 LGBM 分类器，并希望为所有常见分类指标(如 F1、精度、召回率、准确率、AUC 等)找到最佳超参数集。
python - optuna 的段错误(核心转储)
我知道这个问题已经被问过多次，但是有了其他线程的答案，我无法解决我的问题。我正在使用 python3 CTGAN_noscale.py --database_name CTGAN_noshift 在命
python - Optuna 在大量试验中建议相同的参数值(浪费时间和预算的重复试验)
由于某种原因，Optuna TPESampler 和 RandomSampler 对任何参数尝试相同的建议整数值(也可能是浮点数和对数)不止一次。我找不到一种方法来阻止它再次建议相同的值。在 100
python - 有没有办法将参数传递给 optuna 中的多个工作？
我正在尝试使用 optuna 搜索超参数空间。在一个特定场景中，我在一台带有几个 GPU 的机器上训练一个模型。模型和批量大小允许我每 1 个 GPU 运行 1 次训练。所以，理想情况下，我想让 o
python - 如何在 optuna 中对参数进行不重复的采样？
我正在使用 optuna 来优化我的自定义模型的参数。有没有办法对参数进行采样，直到之前未测试当前参数集？我的意思是，如果过去使用相同的参数集进行过一些尝试，请尝试对另一个参数进行采样。在某些情况
python - 如何在 Optuna 中建议多变量比率(有界限)？
我想在 Optuna 中建议比率。比率为 X_1, X_2, ..., X_k , 以 ∑X_i = 1 为界和 0 <= X_i <= 1对于所有 i . Optuna 不提供 Dirichlet
python - Optuna 从 "outside"传递参数字典
我正在使用 Optuna 优化一些目标函数。我想创建“包装”标准 Optuna 代码的自定义类。例如，这是我的类(class)(它仍在进行中!): class Optimizer(object):
Python:如何从 Optuna LightGBM 研究中检索最佳模型？
我想获得稍后在笔记本中使用的最佳模型，以使用不同的测试批次进行预测。可重现的示例(取自 Optuna Github): import lightgbm as lgb import numpy as
python - 生成 optuna 网格的函数提供了 sklearn 管道
我将 sklearn 与 optuna 一起用于 HPO。我想创建一个自定义函数，它将 sklearn 管道作为输入并返回特定于 optuna 的网格。返回 sklearn 特定的参数网格(即字典)似
lightgbm - 在 Optuna 中抑制 LightGBM 警告
我在使用 Optuna 调整我的模型时遇到警告。请告诉我如何抑制这些警告？ [LightGBM] [Warning] feature_fraction is set=0.2, colsample_by
pytorch - 如何通过 Pytorch 和 Optuna 进行交叉验证
我想对官方 Optuna 和基于 pytorch 的示例代码 ( https://github.com/optuna/optuna/blob/master/examples/pytorch_simpl
python - 如何使用 optuna 或 hyperopt 调整条件目标函数
我尝试使用 optuna 来调整超参数。但我的目标函数是有条件的，这会在获得最佳参数方面产生问题。只有满足条件时我才想获得 cwc，否则继续尝试下一个超参数。但我猜由于条件不满足并且目标函数返回 c
python - 如何修复错误 "' _BaseUniformDistribution' 对象没有属性 'to_internal_repr'“- optuna 中的奇怪行为
我正在尝试在 Python 中使用 optuna 库来优化推荐系统模型的参数。这些模型是自定义的，看起来像标准的拟合预测 sklearn 模型(使用方法获取/设置参数)。我所做的:从均匀 int 分
python - 如何使用 optuna trial 在 sklearn MLPRegressor 中设置 hidden_layer_sizes
我想将 [OPTUNA][1] 与 sklearn [MLPRegressor][1] 模型一起使用。对于几乎所有超参数，如何为它们设置 OPTUNA 都非常简单。例如，要设置学习率:learnin
pytorch - Optuna Pytorch : returned value from the objective function cannot be cast to float
def autotune(trial): cfg= { 'device' : "cuda" if torch.cuda.is_available() else "cpu",

首页

博学

6Ren·AI

商城

optuna - 如何使学习率与修剪相适应？