google-analytics - 在 Google Analytics 实验中，为什么 "Probability of Outperforming Original"似乎与转化率相矛盾？

Question

变体 1 和变体 5(见下文)的转化率均低于原始版本，但它们都被标记为更有可能优于原始版本。

我看到错误了吗？如果没有，有人可以解释一下这个优于原始值的概率是如何计算的吗？谢谢。

原创
2,071 次实验
1,055 次转化
50.94% 转化率
与原版相比 0%
优于原始数据的概率为 0.0%

变体2
1,028 次实验
541 次转化
52.63% 转化率
与原版相比 3%
优于原始版本的可能性为 69.2%

变体4
1,786 次实验
914 次转化
51.18% 转化率
与原版相比 0%
优于原始版本的可能性为 61.7%

变体 1
523次实验
258 次转换
49.33% 转化率
与原始版本相比 -3%
优于原始数据的概率为 58.0%

变体5
837 实验课
423 次转换
50.54% 转化率
与原始版本相比 -1%
优于原始版本的概率为 53.2%

变体3
517次实验
242 次转换
46.81% 转化率
与原始版本相比 -8%
优于原始版本的可能性为 44.0%

Answer 1

在这里放置一些方程式并不是任何基本或简单的计算。 Google实验的计算是基于Multi-armed Bandit的“问题”。

这个概念描述了您想要以最大化奖励的方式进行实验的任何情况

完整说明可在 Google 文档中找到 - 此处: https://support.google.com/analytics/answer/2844870?hl=en

基于多臂老虎机的实验通常比基于统计假设检验的“经典”A-B 实验要高效得多。它们在统计上同样有效，而且在许多情况下它们可以更快地给出答案。

它们效率更高，因为它们逐渐将流量转向获胜的变体，而不是强制您在实验结束时等待“最终答案”。

它们速度更快，因为可以将本来属于明显较差变体的样本分配给潜在的获胜者。在高性能变体上收集的额外数据可以帮助更快地将“好” ARM 与“最佳” ARM 分开。

计算示例在这里:https://support.google.com/analytics/answer/2846882

我希望它能帮助您更多地了解 Google 如何计算获胜者。