个人中心
文章发布
退出
作者热门文章
- Java锁的逻辑（结合对象头和ObjectMonitor）
- 还在用饼状图？来瞧瞧这些炫酷的百分比可视化新图形（附代码实现）⛵
- 自动注册实体类到EntityFrameworkCore上下文，并适配ABP及ABPVNext
- 基于Sklearn机器学习代码实战
31
4
作者：京东零售 路卫强 。
本篇的目的是从三个不均匀性的角度,对AB实验进行一个认知的普及,最终着重讲述AB实验的一个普遍的问题，即实验准确度问题.
在首页中，我们是用红色基调还是绿色基调，是采用门店小列表外+商品feed（左图），还是采用门店大列表囊括商品feed（右图），哪种更吸引用户浏览下单呢，简单来处理让50%的用户看到左图效果，让50%的用户看到右图效果，最终通过点击量，单量等指标进行比对得出结论，这是典型的AB实验场景 。
A/B实验就是针对想迭代的产品功能，提供两种不同的备选解决方案，然后让一部分用户使用方案A，另一部分用户使用方案B，最终通过实验数据对比来确定最优方案.
从定义里我们就可以看出来,最直观的一个概念,就是用户的分流,此时就涉及到分流人数是否均匀的问题,即人数比例的均匀性.
目前AB实验的分流核心算法是通过的哈希算法，假设我们按用户名做为分流因子，使用murmurhash算法，以100桶制为例，确定一个人的位置的算法就是 。
//将用户名通过hash算法计算出一个整数
int hashNum = MurmurHash3.murmurhash3_x86_32(useName)
//整数值对100取模
int bucket = hashNum % 100;
当我们定义一个实验两个策略的人数均为50%时，那么 。
bucket为0-49的用户由AB系统标记为A,业务系统根据A标记，使得用户使用方案A 。
bucket为50-99的用户由AB系统标记为B,业务系统根据B标记，使得用户使用方案B.
可是我们都知道哈希算法并不是绝对均匀的，当100人时，基本上不会出现有50个人走A，50个人走B，但是1万个人的时候，两部分流量可能就接近了1:1，10万人的时候可能更接近1:1.
之前有位运营的同学问过，为什么不能用一种很均匀的算法，比如第一个人来了，放入A，第二个人来了放入B，第三个人来了放入A，第四个人来了放入B....，这样一天1W个人来，5000个取A策略，5000个取B策略.
假设我们真的这么做了，第一天是OK的，第二天进A只来了4000人，这样还是不均匀的，如果你第二天仍然按第一天的规则重新分配，这样会有一部分人乱了策略，不符合我们固定人群走固定策略的实验目的.
所以说这个不均匀是无解的，HASH算法是目前最理想的解决方案，前提是你需要一定的流量，流量越大，分流相对就比较准确.
我们假设流量足够大，人数比例很均匀了，但是还有个问题就是人群素质的均匀问题。这里的素质包括消费能力，活跃度，年龄等各种人群因素.
假设现在我们的活动统一采用的A策略（现状），我们想验证一下B策略（新策略）会不会带来客单价的提升，就直接做了AB实验，还按1:1比例来分流，发现使用A方案的人群客单价是100，使用客单价B的人群是96，此时我们能认为原有A方案优于B方案吗？其实是不能的，怎样确定这种人群素质的差异呢，可以采用AA实验，就是两部分人都走A，进行分开统计，可能会发现，位于0-49桶的人群本身客单价就是100，而位于50-99桶的人群可能只有94，这么看来B方案是能提升客单价的，因为位于50-99桶的人群本身指标就差一些.
当然AA不是必须的，可能你有整体的客单价指标，上了B策略后发现整体提升了，这种情况相当于灰度验证了，但实际情况是比较复杂的，整体指标你是不清楚的（因为这里的整体可能只是你取的业务中的一部分流量）.
所以解决素质不均匀的手段就是采用AA提前确定差异性，再在这个差异性基础上看差异的变化.
这个不均匀性是最复杂的，一般做实验我们走两种极端:
第一种是完全不复用人群，每个实验人群都是独立的，这样的话效果比较准确，但是弊端是，当所有流量都被用去后，不能有新实验开始，必须等待有结束的实验后才能继续做.
第二种，所有实验都用全部流量，此时我们认为实验虽然互相之间有影响，但是这种影响是正交的，量大的时候应该是均匀的，如下图所示，P实验的两个策略人群，到Q实验时，对Q的两个策略影响是均匀的.
这种可以满足无限个实验，想做多少实验都可以，但弊端是，实验太多，必然有影响不均匀的，且我们无法消除这种不均匀.
所以我们想能不能结合以上两种情况来处理呢，结合google的Overlapping Experiment Infrastructure文章我们设计出分层的实验管理模型 。
首先我们将总流量分成两部分，正交域，垂直域（含对比区） 。
我们假设如图取80%的流量用做正交阈，20%用作垂直域，垂直域中有5%用做对比区.
上图正交域下4个层，层内实验流量互斥，层间实验流量正交，我们将可能会互相影响的实验放到同一层内进行流量互斥，而影响不大的实验可以放到不同层内.
垂直域中的实验流量只能互斥，且不与任何实验正交，可以理解用最纯正的流量做实验，可以I1和I2两个策略间对比，也可以I1或I2和对比域（现状）比对.
那此时有一个很重要的问题需要解决，我们怎么确定哪些实验互相影响较大，需要放到同一层下.
有一些简单标准，比如入口不一样，目标不一样等等 ，这种可以放到不同层，我们可以忽略正交不均匀的问题，反之就不行.
比如活动页劵对单量提升度的实验和会员页面入会效果的实验，就可以放到不同层.
而首页上满减活动实验对客单价提升的实验和同样首页买赠活动对客单价提升的实验，最好是不共用用户，放到同层比较合适.
但对于很多实验是不太容易通过简单规则来确定的，需要大数据的同学和产品，甚至研发来共同决定实验放到哪些层和哪些实验互斥，这确实在实际的运作中是最难的点.
总之采用这种策略，可以复用流量的同时还可以降低不必要的互相影响，比较综合考虑了流量和准确度问题.
现在我们对以上问题进行总结，从问题到解决方案上来认识ab实验 。
1、人群做不到绝对的均匀，只能通过HASH算法，结合一定的流量来解决.
2、通过AA实验，来提前确定人群素质的不均匀。最终的实验数据结合AA实验数据来确定最终效果.
3、设计出正交垂直域，正交阈内多个层，每个层内放可能相互影响的实验，层内互斥，层间正交，保留垂直域，为要求精准的实验留出流量，来解决实验间相互影响的问题.
本篇从核心分流与实验间相互影响角度讲解ab实验，希望能引起大家在做实验前能有更多的思考，来更准确的验证自己想要的效果，希望大家有兴趣的可以留言讨论.
最后此篇关于从不均匀性角度浅析AB实验的文章就讲到这里了,如果你想了解更多关于从不均匀性角度浅析AB实验的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。
31
4
0
对于游戏，我正在尝试计算我正在看的位置与场景中另一个对象的位置之间的角度。我通过使用以下代码获得了角度: Vec3 out_sub; Math.Subtract(pEnt->vOrigin, pLoc
我还是 Firebase 的新手。有什么方法可以使用 Firebase 性能监控从控制台自动逐屏监控我们的 Web 应用程序？我检查了文档，它说我们需要在代码中添加一些跟踪来跟踪(如果我弄错了，请纠正
我正在使用 angular-material2 的复选框。目前复选框的默认颜色为紫色。 看起来他们已将复选框的默认颜色从“主要”更改为重音。 有没有办法在不覆盖 css 的情况下获得“主要”(绿色)颜
Angular-Material 中是否有任何分页指令可与 md-list 一起使用？ 这些确实有效，但不是基于 Material 设计的。 https://github.com/brantwills
所以我有一个configmap config.json { "apiUrl": "http://application.cloudapp.net/", "test": "1232" } 称为“连续部署
我可以成功对图像进行阈值处理并找到图像的边缘。我正在努力尝试的是准确地提取黑色边缘的 Angular 。 我目前正在使用黑色边缘的极端点，并使用atan2函数计算 Angular ，但是由于混叠，根据
我需要一些帮助来计算点的角度: 我需要计算从点 (0,0) 到从图像中提取的点的角度。 1 将是 0*，2 大约是 40-44* 等。 我的问题是 atan2 显示的值不正确。atan2 的当前输出是
好的，所以我有一个运动场 512x512环绕，-32变成 512对于x和 y . 现在我需要计算两个实体之间的角度，我有以下代码作为一种解决方法，它在大多数时间都有效，但有时仍然会失败: Shoote
我有一个组件，它有一个子组件。子组件有一个按钮，可以打开一个 Material 对话框。 在对话框中，我们有表单、用户名和密码以及提交按钮。当我提交时，我正在调用后端 REST api。 这在子组件中
我一直在试图找到2之间的差异，但是要减去这个就没有运气了 The primary diff erence between the two representations is that a quate
我在 Angular Material Expansion 面板中遇到了这个问题。部分分页下拉菜单被切断。如何使下拉菜单与扩展面板的末端重叠？我尝试了 z-index 但没有成功。 Material
我正在创建一个PapperSoccer项目，但是在寻找运动/线条的方向时遇到了问题。我正在使用HoughLinesP来检测行，并且效果尽可能好。 我使用ROI，在其中寻找一行，然后相应地移动它。 到目
我正在寻找修改构建函数输出的方法 ng build --prod 想添加一些引导CSS文件到index.html的head部分，更改名称index.html => index.php等 怎么做？ 最佳
如何获得两个单位向量之间的 x、y 和 z 旋转值？我不能使用点积，因为它只给我一个值。我想使用旋转矩阵在每个轴上旋转，对于那些我需要每个轴上的角度差。我尝试了仅两个组件的点积，但我有点困惑。有没有一
我必须计算图像中每条可检测线的斜率(或角度)。如果可能的话，甚至可以检测直线斜率的变化。我已经执行了 2D 傅立叶并且我知道每个区域的邻域平均角度(64x64px 的集合)。我什至尝试了 Hough
我正在使用Tiled map 编辑器创建简单的平铺 map 。在我的 map 中，我有几个矩形，如果我创建一个宽度为 50、高度为 10 的矩形并将其精确旋转 90°，则保存 map 并将其加载到我的
我计算了一个三角形的角度，但我不明白为什么我得到一些锐角的负角。例如: var sin = Math.Sin(4.45); var radians = Math.Atan(sin); var
我正在开发一个机器学习项目，其中使用 TensorFlow(和 DNNRegressor)。我想预测范围在 -pi 和 pi 之间的模算术值(角度)。当我尝试“正常方式”执行此操作时，模型不是很好，因
我有一个包含 40 个旋转图像的图像。 图像索引实际上从 0. 0-39 开始。 这是将 0-39 转换为度数的代码 int image_direction = 0; //Can be 0-39 in
在 PostGIS/PostgreSQL 中，是否有一个函数可以给出给定点所在的线串的线段的角度？ 最佳答案 在 PostGIS 版本 1.5.3 上 ST_Azimuth()需要两点作为输入——据我
我是一名优秀的程序员,十分优秀！