machine-learning - h2o.predict(aml@leader, test_df) 使用哪个模型？

Question

使用autoML生成aml排行榜后，我跑了

h2o.predict(aml@leader, test_df) 

但是我怎么知道它在排行榜上使用的是哪个模型呢？如果我想访问排行榜上任何模型的结构或超参数，我该怎么做？

除了测试集上的结果不如验证集上的结果好之外，这种情况是否常见——是我使用错误还是它有过度拟合的倾向？

还想更好地了解其基础设施，在 h2o.init 之后，数据是否传输到 h2o.ai 集群中的服务器，或者所有事情都发生在我的本地笔记本电脑上？

谢谢。

Answer 1

它使用“领导者”模型，这是排行榜上排名第一的模型，按 ML 任务(二元分类、多类分类、回归)的默认指标排名。领导者模型 ID 位于:aml@leader@model_id。

领导者模型存储在 aml@leader 中，只是一个常规的 H2O 模型，因此如果您想查看所使用的参数，请查看 aml@leader@parameters code> 表示您设置的参数，或 aml@leader@allparameters 表示所有参数值(包括您未手动设置的参数值)。

validation_frame 用于通过提前停止来调整各个模型，因此与测试误差相比，验证误差总是过于乐观，而测试误差将是对泛化误差的良好估计。

第三个问题超出了本文的范围，但我还是会回答。当您使用 H2O 并使用 h2o.init() 启动集群时，您将在笔记本电脑上本地运行所有内容。如果您在其他位置(例如 Amazon EC2 或您自己的远程服务器)启动 H2O 集群，则可以使用 ip< 将该服务器的 IP 地址传递给 h2o.init() 命令。/code> 参数连接到它，计算将在该远程计算机上运行。无论哪种方式，服务器都完全在您的控制之下——H2O.ai 拥有的“H2O 云”不进行远程处理。