logistic-regression - 在Vowpal wabbit中如何选择保留集

Question

我正在使用 vowpal wabbit 进行逻辑回归。我了解到，vowpal wabbit 从给定的训练数据中选择一个保留集进行验证。这组是随机选择的吗？我有一个非常不平衡的数据集，包含 100 多个示例和 1000 个示例。我想知道给定这个训练数据，Vowpal wabbit 如何选择保留示例？

如何为 +ve 示例分配更多权重

Answer 1

默认情况下，每 10 个示例用于保留(您可以使用 --holdout_period 更改它，请参阅https://github.com/JohnLangford/vowpal_wabbit/wiki/Command-line-arguments#holdout-options )。这意味着使用保留评估进行训练的模型仅在 90% 的训练数据上进行训练。这可能会导致准确性稍差。另一方面，它允许您使用 --early_terminate (默认设置为 3 次)，这使得更容易降低因训练次数过多而导致过度训练的风险。请注意，默认情况下，只有在使用多次传递时，保留评估才会启用(否则大众汽车将使用渐进式验证损失)。

对于第二个问题，您可以为正例添加重要性权重。默认重要性权重为 1。请参阅https://github.com/JohnLangford/vowpal_wabbit/wiki/Input-format