machine-learning - 机器学习中超参数和启发式的区别？

Question

在机器学习的背景下，超参数和启发式有什么区别。如果你不是学习参数而是提前决定它，这本质上不就是一种启发吗？

如果有人可以提供每个的明确定义和比较，那就太好了!我希望在这种情况下我没有将苹果与橙子进行比较。

Answer 1

有趣的想法!启发式和超参数之间最明显的区别在于，启发式是一种有助于搜索问题的函数，它用于快速权衡不同的解决方案，而超参数本质上是在模型中“硬编码”的，因此没有帮助根本没有搜索。

但是，如果您定义一个仅返回常量超参数的启发式函数，那么我们确实可以说这个启发式函数确实与超参数相同。但我们通常不会这样看待它，因为这样的启发式函数(总是返回一个常量)无助于搜索最佳参数。