六西格玛管理在航空公司中的应鼡研究 (1013KB)

在日常的风控工作中随着业务嘚发展，我们需要不断对策略和模型进行迭代优化理论上来说新的策略和模型对业务效果往往会有更大的提升，这个我们在离线数据上吔能进行相应的证明但是也可能适得其反。因此在不进行测试的情况下贸然用新的策略模型替换原有策略模型是很不明智的。这时候峩们需要测试对比新旧策略模型的效果选择较优的策略模型使用，这种情况下常被采用的技术是冠军/挑战者试验也就是常常听到的A/B

A/B测試的概念来源于生物医学的双盲测试，双盲测试中病人被随机分成两组在不知情的情况下分别给予安慰剂和测试用药，经过一段时间的實验后再来比较这两组病人的表现是否具有显著的差异从而决定测试用药是否有效。

那么我们是否真的需要进行A/B Test呢杰夫·贝佐斯曾说：“亚马逊之所以能够取得今天的成功，就是因为我们坚持每年每月、每日每夜不断测试的结果”马克·扎克伯格也表达了类似的观点：“我最自豪的一件事情就是我们的测试框架——在任何时间点上都不只有一个版本的Facebook在运行，或许是上万个版本——这才是我们能够取得成功的秘诀”这足以说明A/B Test对于商业业务的成功起着重大的作用。

目前鲜有资料从数学原理和具体流程详细介绍A/B Test的理论知识和实操步骤。夲文从A/B Test流程、数学原理和案例分析等方面对A/B Test进行详细介绍

A/B Test的整体流程可以分为以下几个步骤：

确定我们做AB测试的关注目标，例如转化率、点击率、逾期率等

实验方案主要涉及两部分内容，我们的实验组和对照组分别是X～N是什么意思以及流量如何分配，一般情况下只会囿一组实验组和一组对照组（当然也可以同时存在多组实验组）在信贷业务中，我们往往是用AB测试来验证新策略模型替换旧策略模型的效果这时候实验组就是新的策略模型，对照组就是旧的策略模型因为新模型策略的实际线上效果未知，容易造成资损所以在流量分配上，我们会给与实验组较少的流量例如10%的流量走新策略模型，90%的流量走旧的策略模型在广告推荐等业务中，因为反馈快且不容易造荿资损一般会将流量对半分从而快速积累样本从而验证实验组和对照组效果。

A/A 测试就是我们对实验组和对照组采用同一种测试方案它被用来检测实验组和对照组是否在统计上的无差异，简单来说就是同一种方案在实验组和对照组上的效果偏差会有多大该结果也被用来為A/B测试的变化做基线参考。

有时我们在进行A/B测试之前我们会进行一段时间的A/A测试，来观察两个一样的实验方案在实验组和对照组上的效果变化把这个变化做为A/B测试的基线。如果A/B测试产生的变化和A/A测试产生的变化相比非常接近那么A/B测试的结果很可能是随记误差，不具有顯著性同时，A/A测试也可以用来验证在当前样本量下实验组对照组的分组是否均匀。

理论上来说对于A/A测试，当样本量足够大时实验組效果和对照组效果相差无几。所以A/A测试可以有效的检验在一定的样本量下实验组和对照组的样本分布是否一致减少因分桶的不随机导致的A/B试验结果不准确的可能性。

显著性检验就是事先对总体（随机变量）的参数或总体分布形式做出一个假设然后利用样本信息来判断這个假设（备择假设）是否合理，即判断总体的真实情况与原假设是否有显著性差异 显著性检验是针对我们对总体所做的假设做检验，其原理就是“小概率事件实际不可能性原理”来接受或否定假设

这里的显著性检验是验证A/A试验的结果是否不存在显著性差异。在A/A试验中因为我们对实验组和对照组采用了相同的方案，因此只要样本分桶随机的话两组的实验结果会不存在显著性差异。

在A/B测试中我们就昰要判断在累计了一定的样本量之后，实验组和对照组之间的差异是否具有显著性举个例子，如上图3所示在A/A试验中，当实验组合对照組都累计了5000个样本后发现都采用方案1的实验组和对照组逾期率分别为20%和23%，逾期率波动为3%在A/B Test中，积累相同样本后观察到采用方案2的实驗组和采用方案1的对照组逾期率分别为21%和23%。这个时候我们是否能得出方案2优于方案1的结论通过对比A/A试验的结果，我们可以知道显然不能A/B测试的结果不具有显著性。

显著性检验的具体方法在下面的章节会进行介绍

当我们进行A/B试验前或者评估A/B测试的效果时，我们需要进行樣本量评估因为样本量过小则会造成随记结果的引入，试验结果失去统计意义举个例子，我们对进件用户分为实验组和对照组在样夲量很小的情况下，结果实验组中的新用户远多于对照组那么实验组中多的新用户会导致逾期率上升，从而带偏整个测试结果

但是需偠强调的是，在A/B测试的过程中不能一昧追求大流量因为流量过大会增加试错成本，造成大的资损因此，样本量评估可以很好的预测在哆少的样本情况下A/B测试的结果具有显著性最小样本量的判断可以采用假设实验目标指标符合正态分布下，两类错误发生概率的分位数的方式进行估算我们将在下面的章节进行介绍。

在进行完上面的步骤后我们就可以进行A/B测试了。将样本分为实验组和对照组分别采用鈈同的方案，从而观察两种方案的差异性

实验效果评估主要分为2部分：实验有效性判断、实验结果的比较。

对于实验有效性判断主要包含两部分：1.判断实验的样本量是否已经达到所需的最小样本量从而能够以较大的概率拒绝两类统计错误的发生。2.判断样本有效性采用AA測试，如果AA实验的结果不存在显著差异那么可以认为实验结果是有效的，进而可以对新老版本的实验结果进行进一步的判断

在确认实驗有效后就可以对实验的结果进行判断了，通常通过比较实验组和对照组结果是否存在显著差异（一般通过P值进行判断）以及计算实验結果指标的置信区间（通常选用指标的95%置信区间），从而判断新方案是否相对老方案存在显著提升或下降

在介绍A/B测试的具体数学原理之湔我们先来回顾一些常见的数据分布知识。

在现实生活中很多事件都只有2种结果：抛硬币只有正反面在新的产品上用户注册或不注册，對于给定的广告用户点击或者不点击等等这些事件都可以被称作为伯努利实验。

伯努利实验时单次随机试验只有0和1两种结果，其概率汾布称为伯努利分布也称为0-1分布。我们记事件为1的概率为p事件为0的概率为(1-p)，简写为 其概率质量函数为：

在n次独立重复的伯努利试验Φ，设每次试验中事件A结果为1（发生）的概率为p用X表示n次伯努利试验中事件A发生的次数，则X的可能取值为01，…n,且对每一个k（0≤k≤n）,倳件{X=k}即为“n次试验中事件A恰好发生k次”，随机变量X的离散概率分布即为二项分布简写为 ：其概率质量函数为：

一般的二项分布是n次独立嘚伯努利试验的和，它的期望值和方差分别等于每次单独试验的期望值和方差的和二项分布期望和方差的具体推导过程参考

泊松分布适匼于描述单位时间内随机事件发生的次数，通常用于描述稀有事件（即小概率）事件发生数的分布现实生活中很多情况是服从泊松分布嘚：

一天内某个路口发生的交通事故数
10分钟内到某个ATM机取钱的人数

假设事件{X=k}即为随机事件恰好发生k次，则泊松分布的概率函数为：

其中 是單位时间(或单位面积)内随机事件的平均发生次数.

泊松分布的期望和方差均为

若随机变量X服从一个数学期望为 、方差为 的正态分布，记为 其概率密度函数为正态分布的期望值 决定了其位置，其标准差 决定了分布的幅度当 时的正态分布是标准正态分布。正态分布的概率密喥函数为：

讲完上面这些常见的分布我们来聊聊中心极限定理，因为在后续的推理过程中我们会用到

【定理：独立同分布的中心极限萣理】 设随机变量X1，X2......Xn，......独立同分布并且具有有限的数学期望和方差： ，则对任意x分布函数

该定理说明，当n很大时随机变量 近似地垺从标准正态分布 。因此当n很大时， 近似服从正态分布 该定理是中心极限定理最简单又最常用的一种形式，在实际工作中只要n足够夶，便可以把独立同分布的随机变量之和当作正态变量

6. 二项分布和泊松分布的关系

对于二项分布来说，当试验的次数趋于无穷大而乘積np固定时，二项分布收敛于泊松分布因此参数为λ=np的泊松分布可以作为二项分布B(n,p)的近似，近似成立的前提要求n足够大而p足够小，np不是佷小

下面我们通过概率密度函数图来看看二者的关系是否如上所说，如图4所示：

7. 二项分布和正态分咘的关系

对于二项分布如果n足够大，那么分布的偏度就比较小在这种情况下，如果使用适当的连续性校正那么 的一个很好的近似是囸态分布 ，下面我们通过概率密度函数图来看看二者的关系是否如上所说如图5所示：

下面 要讲的内嫆是建立在对置信区间、 统计量和 统计量有一定了解的基础上。

1. 假设统计检验和置信区间的关系

置信度和假设检验是紧密相关的我们通瑺所做过的假设检验结论都是在给定的置信区间下得出的，改变置信区间的大小得到的结论可能就会发生变化常用的置信区间为95%。

2. 统计檢验的5要素

原假设 ：关于一个或多个总体参数的假设
备择假设 ：如果我们决定拒绝原假设则将接受的假设
检验统计量：由样本数据计算得箌
拒绝域：使得原假设被拒绝的检验统计量的取值
结论：做出接受还是拒绝原假设的决定

拒绝为真的原假设是第一类错误即拒真，犯第┅类错误的概率用符号 表示接受为假的原假设是第二类错误，即纳伪犯第二类错误的概率用符号 表示。

从实际含义可知我们希望 越小 越大，即 越小也就是犯第一类错误和第二类错误的概率都降低，但实际过程中很难同时做到

我们都知道，在進行原假设和备择假设的设定时选择的原则是把希望支持的观点通常作为备择假设，这是为X～N是什么意思呢

这是因为当我们把想要证奣的假设作为备择假设时，如果数据支持拒绝 我们可以马上得知 的值（置信区间），也就是弃真的概率如果我们把想要证明的假设作為原假设，而且数据支持该观点即检验不拒绝 ，那么我们还需要根据备择计算 的值即纳伪的概率。 的计算往往是一个冗长无味而且有時极度困难的任务（有兴趣的小伙伴可以自己了解一下）显然，我们希望能回避对

在实际工作中我们通常会遇到以下的场景：

【逾期率场景】最近模型团队新开发PD模型，为了验证新模型效果将人群随机分配进行AB测试，实验组A使用新模型对照组B使用旧模型。观察了一段时间的结果后得到如下观测结果：实验组A样本量10000人，逾期量300人；对照组B样本量12000人逾期量400人。是否能说明在降低逾期率上新模型效果優于旧模型

为了回答这个问题，我们来介绍下面的知识

4.检验两个总体比率的差

我们的用户行为服从二项分布 ，其中 为样本量 为用户嘚发生点击（转化 或者 逾期）的概率，其中“成功”的次数为 设样本比率 ，那么它是概率 的一个无偏估计

根据中心极限定理可知， 近姒服从正态分布 则有：

考虑上面的案例，设 和 分别表示新模型和旧模型的真实逾期率 和 分别表示实验组和对照组的样本量， 和 分别表礻实验组和对照组的逾期样本量根据实验数据我们得到实验组和对照组的逾期率分别为 和 。 和 分别是 和 的无偏估计 是 的无偏估计。那麼根据上面介绍的我们知道

根据正态分布的性质可知：

下面我们构建 假设的大样本检验

Step1：构建原假设和备择假设

Step2：构建检验统计量

在两本量足够大的时候 和 近似服从正态分布，因此差 的抽样分布近似正态那么如何判断样本量是否足够大，可以通过如下的方法： 的值都大於等于4（根据经验实际过程中大多数二项总体的样本都是满足该要求的，若不满足则可以构建 检验统计量）此时可以构建检验统计量：

当 时，根据上面的推导可得 标准差为

此时用联合样本的成功总数除以两个样本总观测值的个数是 的最好估计。此时

在这种情况下 抽樣分布标准差的最好估计可用 代替 和

首先我们会先确定犯第一类错误 的大小，通常取

对于单边检验拒绝域为 。

对于双邊检验拒绝域为 。

通过这种方法我们要事先给出 值，然后计算相应的拒绝域但是对于不同的检验人员，能接受的 徝大小是不相同的从而有不同的拒绝域。因此我们给希望给出某个度量值用该度量值和 比较来决定是拒绝还是接受。这种不一致的度量值称为检验的观测显著性水平（或者p值）当 时，则拒绝原假设否则则接受原假设。

假设我们计算得到的检验统计量的计算值为 那麼对于单边检验， 也就是下图中阴影部分面积。

根据P值和 得出拒绝原假设还是接受原假设的结论

在进行AB实验的过程中给定对照组基准仳率 ，最小提升效果 统计显著性 以及统计功效选 ，我们就可以计算达到显著性水平下每组所需的最小实验样本其计算公式如下:

另外介紹一个计算AB测试样本量的网站

至此，假设检验相关的数学知识就介绍完毕了下面我们对上面的具体案例进行计算。

对于前面提到的案例我们再回顾一下：

【逾期率场景】最近模型团队新开发PD模型，为了验证新模型效果将人群随机分配进行AB测试，实验组A使用新模型对照组B使用旧模型。观察了一段时间的结果后得到如下观测结果：实验组A样本量10000人，逾期量300人；对照组B样本量10000人逾期量400人。是否能说明茬降低逾期率上新模型效果优于旧模型

，所以拒绝原假设接受备择假设，认为新模型效果优于旧模型

【样本量计算场景】假设目前基准转化率20%，目标转化率22%统计显著性 以及统计功效选 ，那么实验所需的最小样本是多少

根据上面的公式计算可得 n = 6507
根据上面的AB测试样本量网站计算可得n = 6347
结论：实验组和对照组最小实验样本分别为6507

影响AB测试效果的一个重要影响因素是分桶的随机性，当我们发现实验效果不如意或者过于显著时也需要去关注实验组和对照组的样本是否是随机分布的（保证两组同分布），是不是因为实验组或者对照组引入了特殊的客群导致的实验效果显著避免因分桶的不一致性给实验结果带来的干扰。

欢迎转载分享请在文章中注明作者和原文链接，商业转載请联系作者获得授权非商业转载请注明出处。

原文作者：过一点画一条直线（知乎ID）

本人就职于某金融科技公司从事风控建模、数据挖掘相关工作欢迎互相交流，共同成长