machine-learning - 如何使用 MOE 调整机器学习超参数？

Question

我正在尝试使用MOE ，Yelp 创建的“指标优化引擎”，用于调整机器学习算法的超参数。他们的文档有点有限，我很难找到可以遵循的示例。

假设我想找到 Support Vector Machine 的 C、Gamma 和 kernel type 的最佳值，基于以下分布:

SVC_PARAMS = [
    {
        "bounds": {
            "max": 10.0,
            "min": 0.01,
        },
        "name": "C",
        "type": "double",
        "transformation": "log",
    },
    {
        "bounds": {
            "max": 1.0,
            "min": 0.0001,
        },
        "name": "gamma",
        "type": "double",
        "transformation": "log",
    },
    {
        "type": "categorical",
        "name": "kernel",
        "categorical_values": [
            {"name": "rbf"},
            {"name": "poly"},
            {"name": "sigmoid"},
        ],
    },
]

我试图最大化的目标函数是 accuracy score我的训练集。

我如何使用 MOE's api 来完成此操作？

Answer 1

MOE 不支持分类变量，它只允许连续超参数。为了实现您正在寻找的目标，您可以将每个分类实例视为一个单独的问题来优化，然后使用 MOE examples 中概述的流程。 。最后，您可以从每种内核类型的调整模型中选择最佳模型。

或者，您可以使用 SigOpt，它是由创建 MOE 的团队构建的。我们以教育部开始的许多工作为基础并进行了扩展。它提供对连续、整数和分类参数的支持，以及 MOE 中未找到的许多其他功能和增强功能。我们在this blog post中概述了这个确切的例子。 ，帖子中提供了示例代码。您可以在我们的免费试用层或免费学术层中运行此示例。