optimization - Tensorflow 的超参数调整

Question

我正在寻找直接用 Tensorflow(不是 Keras 或 Tflearn)编写的代码的超参数调整包。你能提点建议吗？

Answer 1

通常，您不需要将超参数优化逻辑与优化模型结合起来(除非您的超参数优化逻辑特定于您正在训练的模型类型，在这种情况下，您需要告诉我们更多信息)。有多种工具和软件包可用于该任务。 Here是一篇关于该主题的好论文，并且 here是一篇带有示例的更实用的博客文章。

• hyperopt实现随机搜索和 parzen 估计器优化树。
• Scikit-Optimize实现了其他一些功能，包括高斯过程贝叶斯优化。
• SigOpt是一项用于超参数优化的便捷服务(付费，但为学生和研究人员提供免费套餐和额外津贴)。它基于 Yelp 的 MOE ，它是开源的(尽管发布的版本似乎更新不多)，理论上可以单独使用，尽管这需要一些额外的努力。
• Spearmint也是一个经常提到的软件包，也是开源的，但对于商业目的不是免费的(尽管您可以回退到 less restrictive older version )。它看起来不错，但不是很活跃，并且可用版本与 Python 3 不兼容(即使已提交拉取请求来修复该问题)。
• BayesOpt似乎是贝叶斯优化的黄金标准，但它主要是 C++，Python 接口(interface)看起来没有太多文档记录。

其中，我仅真正(即，遇到真正的问题)将 hyperopt 与 TensorFlow 结合使用，而且并没有花费太多精力。 API 在某些方面有点奇怪，文档也不是很全面，但它确实有效，并且似乎正在积极开发中，可能会出现更多优化算法和适应(例如专门针对神经网络)。然而，正如之前链接的博客文章中所建议的，Scikit-Optimize 可能同样好，而且如果适合您，SigOpt 看起来也很容易使用。