ruby-on-rails - A/B 测试和统计解决方案

Question

几个月来我一直在寻找一个好的测试框架，但没有找到任何东西，所以我一直在构建自己的。

这就是我想要做的:
- 跟踪任意行为(例如查看的照片数量、发表的评论数量)
- 跟踪任意变量与这些行为之间的相关性
(例如，此提示的不同版本如何影响平均查看的照片数量？)

这种东西应该是敏捷开发的核心部分。外面有什么？我知道 Google 网站优化器是答案之一，但您只能跟踪以单个“成功”页面结尾的行为。

拥有一个可以在您的代码中工作的插件(在我的例子中是 Rails)并通过漂亮的图表提供给一个很好的托管服务会很棒......

Answer 1

您可能希望将您的问题划分为分析(印象、操作和可能的页内事件、测试报告)和提供变体的框架(如何在准备它们的实际方面管理 x 变体，您是否需要存储变体以供将来引用、打开和关闭测试、优化测试的有效性等)。显然存在重叠，例如，Google 网站优化器可以在有数据支持时立即关闭一个不好的变体，但是通过将其视为不同的问题，您也许可以重用 Google Analytics 组件。