vowpalwabbit - 需要一些关于 Vowpal Wabbit 的关于交叉验证的指示

Question

我的目标是在参数空间中对各种 VW 模型进行网格搜索(尝试不同的损失函数和正则化等)。由于模型可以使用多次传递，我想使用交叉验证。我想知道我是否应该实现我自己的交叉验证代码(也许作为一个 bash 脚本)或者我是在重新发明轮子。任何关于这是否已经完成等或最佳继续方式的指示都将是有用的。我正在考虑在 bash 脚本中实现交叉验证并使用 GNU parallel 来并行化网格搜索

Answer 1

您应该尝试 vw-hypersearch perl 脚本 ( https://github.com/JohnLangford/vowpal_wabbit/blob/HEAD/utl/vw-hypersearch )，它也可以在 VW 的 utl 目录中找到。它可以帮助您调整 VW 参数，但至于交叉验证，您必须实现自己的代码，将您打算验证的数据折叠提供给算法。