策略产品知识漫谈之AB实验

发布日期：2022/6/28 13:54:48      浏览量：

本文由@克比酱 原创发布于人人都是产品经理，未经许可，禁止转载

题图来自 Unsplash，基于 CC0 协议

AB实验是指为了验证某一个产品能力或者策略的好坏，将产品的用户分成两组进行对比的实验。那么，AB实验分流是怎么产生的？又需要注意哪些？一起来看一下吧。

前段时间克比酱写了几篇发牢骚的文章，从本篇文章开始，回归我的老本行，将一些我做策略产品经理用到的知识记录下来，与大家分享。后面陆续会讲一些搜索推荐算法的召回、排序、NLU等知识。中间可能也会偶尔穿插几篇产品杂谈，讲讲对职场生活的感悟。

第一期我们先讲AB实验，AB实验功能是策略产品经理需要掌握的一项基本能力，也是互联网产品效果评估的最重要和最常见的方法。

举个例子来说，如果你负责淘宝的策略产品，Leader让你去优化购物车的转化率，你苦思冥想了好几天好不容易想出来一个方案：设计购物车的页面跟着手机壳的颜色变化而变化。那你要怎样才能知道这个策略是好是坏呢？这个时候就要用到AB实验方法。

01 什么是AB实验？

那么什么是AB实验呢？AB实验是指为了验证某一个产品能力或者策略的效果好坏，将产品的用户随机分成两部分，分别是实验组和对照组，对比两个组的用户表现而进行的实验。

互联网产品的AB实验应用场景主要有三种：

1. 客户端的界面调整实验：主要是使用不同的策略对客户端的UI布局进行调整。例如，验证抖音的点赞按钮在屏幕右侧或者在底部两种策略，哪种的用户的点赞转化率最高。
2. 算法策略的调整实验：最常见的是推荐搜索或者广告的算法策略调整实验。例如，使用深度学习模型和机器学习模型对转化率的预估哪种更好。
3. 运营策略：比如运营做了两套针对圣诞节的活动方案，但是不知道哪个方案效果更好，这时候可以将两种实验同时上线，配置成AB实验查看曝光点击转化率。再比如：两种push策略哪个更好？

02 AB实验分流是怎样产生的？

做AB实验的时候需要将用户分成A桶和B桶，也是我们说的实验桶和对照桶。

实验桶里的用户使用的是实验策略。对照桶里面则是使用正常的策略的用户。

一般来说，我们会将所有的用户分为多个桶，例如20个桶和30个桶，每个桶内的流量占比从1%-20%不等。

这样我们每次做实验的时候，可以直接取其中的一个桶或者两个桶来做。对不同的桶配置不同的实验策略。在实验放量的时候只需要将实验放到更多的桶中即可。

那么问题来了，如果我们知道我们今天的总的用户数，可以直接使用用户的id对用户随机划分桶号。

但是实际上，我们是无法明确今天或者明天的用户有哪些？有多少？

因为昨天来了的用户，今天不一定会来，昨天来了100w个用户，今天不一定还有100w，可能只有30w，也可能有300w，那我们怎么样能保证未来一段时间的用户都能随机分到所有桶里面呢？

这里就要用到Session分流，Session分流的原理如下图所示。

假如今天会有N个用户，我们把今天的用户分成十个实验桶。可以使用用户的唯一编码，例如DeviceId或者是UserId，对其进行hash处理，一般是使用MD5进行hash计算。

这样做的好处是不会重复，便于随机分流。这样我们就能得到100w个不同的hash值。

接着就是最关键的一步，对处理后的hash值进行取模或或者是取余。有多少个桶就取多少的余数，然后不同的余数对应不同的桶。这样就能将这N个用户随机分配到不同的桶中了。

另外，由于同一个用户的UID或DeviceId是不会改变的，这样就能保证同一个用户即使多次使用产品时也能进入同一个桶。

这样就是AB实验最基本的分流过程了了。

03 AB实验分流应该注意哪些？1. 分析指标要明确

上面讲了做AB实验一共有三种场景，不管哪种，其本质都是对不同策略的效果对比，既然是对比，就需要把观测的指标明确下来。例如，是对比商品的订单数，转化率，还是点击量？

除此之外还要考虑，这个标准会不会受到其他的指标的影响，会不会影响到其他指标。

例如，点赞量提高了，会不会导致评论数的减少。

只有明确了分析指标，才能正确评估是A桶好还是B桶好。

2. 实验分流要确保相互不影响

同一个产品的不同的功能可能会有不同的实验，而且这些实验针对的是同一批用户。

例如，你可以在做客户端界面的改动的同时，又改了客户端推荐的算法。

那怎样保证这些实验相互之间不影响呢。

答案就是要确保正交。

你可以将实验分成不同的层，不同层之间的用户随机分桶，每个用户会进入所有策略桶都是随机的。这样就能保证进行实验时每组实验之间相互不影响。

3. 样本足够

做AB实验的时候，需要保证不同的桶之间的用户量足够大，用户id足够均匀，才能够尽可能保证每个试验桶的用户数和指标没有差异。

如果我们做的实验只有五十个用户，那么两三个用户的随机行为对策略的指标影响就至少4%。

这样AB实验观测的指标本身会有很大的波动，就无法正常观测实验的效果。

4. 实验前将每个桶调平

在实际的产品运行过程中，我们所观测的指标往往会有一些天然的差异。也就是说AA桶本身就不一定是平的。

在进行AB实验的时候要确保每个桶的直接观测指标的表现是相近的，也就是说AA期的表现要一致，这样在进入AB期之后，指标的提升和降低才具有可信度。

比如说，对于电商平台，你需要观察的是成交订单数和总收入，那么在进行实验之前，你要确保每个桶之间的成交订单和收入天然是一样的，这样做完实验之后你才能看到自己的实验是不是有效。