r - A/B Fisher 检验显着性的样本大小

Question

鉴于简单 A/B 测试的结果......

        A   B
clicked 8   60
ignored 192 1940

(即 A 4% 和 B 3% 的 session 率)

... R 中的 Fisher 测试非常正确地表明没有显着差异

> fisher.test(data.frame(A=c(8,192), B=c(60,1940)))
...
p-value = 0.3933
...

但是 R 中有什么函数可以告诉我我需要增加多少样本量才能达到 0.05 的 p 值？

我可以增加 A 值(按它们的比例)直到我达到它，但必须有更好的方法吗？也许 pwr.2p2n.test [1] 不知何故可用？

[1] http://rss.acs.unt.edu/Rdoc/library/pwr/html/pwr.2p2n.test.html

Answer 1

power.prop.test()应该为你做这件事。为了让数学发挥作用，我通过总结您的列将您的“忽略”数据转换为展示次数。

> power.prop.test(p1=8/200, p2=60/2000, power=0.8, sig.level=0.05)

     Two-sample comparison of proportions power calculation 

              n = 5300.739
             p1 = 0.04
             p2 = 0.03
      sig.level = 0.05
          power = 0.8
    alternative = two.sided

NOTE: n is number in *each* group

这给出了每个组的 5301，因此您的样本大小需要为 10600。减去已经运行的 2200，您需要进行 8400 个“测试”。

在这种情况下:

sig.level与您的 p 值相同。

power是找到样本中存在的重要结果的可能性。这有点武断，80% 是常见的选择。请注意，选择 80% 意味着有 20% 的时间您不会在应该时发现意义。提高功效意味着您需要更大的样本量才能达到所需的显着性水平。

如果您想确定达到显着性需要多长时间，请将 8400 除以每天的展示次数。这可以帮助确定是否值得继续测试。

您还可以使用此功能在测试开始之前确定所需的样本量。在 37 Signals blog 上有一篇很好的文章描述了这一点。 .

这是一个 native R 函数，因此您无需添加或加载任何包。除此之外，我不能说这与 pwr.p2pn.test() 有多相似。 .