android - 使用 Firebase Remote Config 进行互斥 A/B 测试

Question

我想使用带有远程配置的 Firebase A/B 测试对一个应用程序执行两个 A/B 测试。

问题在于这两个测试受众应该是相互排斥的。形成两个实验的一部分可能会污染结果。

我曾考虑过在用户进入实验 1 时设置 Firebase Analytics 用户属性并从实验 2 受众中排除此属性值，但我担心用户在获取远程配置时同时进入两个实验值(value)观。

是否有更好的解决方案来防止用户进入这两个实验？

Answer 1

(为了回答这个问题，我假设您谈论的是我们上周刚刚推出的新 A/B 测试框架)

所以现在，您无法使用新的 A/B 测试框架真正确保实验组相互排斥。如果您指定 10% 的用户在实验 A 中，10% 的用户在实验 B 中，那么实验 B 中的一小部分用户(具体来说，大约 10%)也会在实验 A 中。

好消息是，实验 A 中的那些用户应该均匀分布在实验 B 中的变体中。但是，如果您发现自己处于这样一种情况，即您觉得这些实验用户会偏爱一个变体而不是另一个变体(因此扭曲你的结果)，你有两个选择:

1. 连续而不是并行运行您的 A/B 测试。等到您停止第一个实验后再运行第二个实验。

2. 如果有意义，请尝试将它们组合成一个多变体实验。例如，假设实验 A 正在添加更快的登录流程，而实验 B 正在将您的登录流程推迟到流程的后期。您可以尝试像这样创建一个多变量实验:

+---------------------+---------------+----------------+|        Group        | Sign-in speed | Sign-in timing |+---------------------+---------------+----------------+ | Control             | (default)     | (default)      || Speedy              | Speedy        | (default)      || Deferred            | (default)     | Deferred       || Speedy and Deferred | Speedy        | Deferred       |+---------------------+---------------+----------------+

这样做的好处是，您可以更深入地了解参加这两个实验是否真的以您怀疑的方式影响了您的用户。