machine-learning - 如何区分真正的改进和随机噪声？

Question

我正在 Moses 中构建一个自动翻译器。为了提高其性能，我使用对数线性权重优化。该技术有一个随机成分，可能会对最终结果产生轻微影响(但我不知 Prop 体影响有多大)。

假设模型当前性能为25 BLEU。

假设现在我修改语言模型(例如更改平滑)，并且我得到 26 BLEU 的性能。

我的问题是:我如何知道改进是因为修改，还是只是来自随机组件的噪声？

Answer 1

这几乎就是统计的全部内容。你基本上可以做两件事之一(从基本的解决方案集，当然还有很多更高级的):

• 尝试测量/建模/量化随机性的影响，如果您知道导致随机性的原因，您也许能够实际计算出它对您的模型的影响程度。如果无法进行分析解决方案，您始终可以使用相同的数据/设置训练 20 个模型，收集结果并估计噪声分布。一旦掌握了这一点，您就可以执行统计测试来检查改进是否具有统计显着性(例如通过方差分析测试)。

• 更简单的方法(但在数据/时间方面更昂贵)是通过平均来简单地减少方差。简而言之，不要训练一个具有难以确定噪声成分的模型(或评估一次模型)，而是进行多次(10、20 次)并对结果进行平均。这样您就可以减少分析结果的方差。这可以(并且应该)与之前的选项结合使用 - 因为现在每次运行您有 20 个结果，因此您可以再次使用统计睾丸来查看这些结果是否有显着不同。