怎样分析AB测试结果?
AB测试结果分析包括统计学分析和业务分析两个部分。
统计学分析
统计学分析是为了确定AB测试结果在统计学角度是否可信。分析时我们首先关注A、B版本对用户行为的影响是否有差别,这通过统计显著性来反映。确定有差别后,我们再看差别有多大,改进效果表示转化率提高(或降低)的幅度,差异区间表示转化率改进的最可能范围。下面我们分别解释各项指标的含义。
统计显著性:优化版本和原始版本之间转化率存在差异的可能性或可信度,数值上等于1减去统计学假设检验中的P值(p-value),P值表示样本间的差异由随机因素所导致的概率。
对于上图中目标“homepage注册”,原始版本的转化率为16.8%,优化版本的为18.2%,统计显著性为83.99%,即两个版本之间转化率的差异有83.99%的可能性是由于优化版本的改动造成。
统计显著性数值所代表的含义:
- ≥95%:优化版本和原始版本之间有显著的统计差异,转化率的“改进”是可信的;
- 90%~95%:优化版本和原始版本之间的统计差异存有疑问,转化率的“改进”是存有疑问的;
- <90%:优化版本和原始版本之间没有显著的统计差异,转化率的“改进”是不可信的;
一般来说,统计显著性要大于95%才认为A/B测试结束,但是,统计显著性达到95%有时需要很长的测试周期,考虑到机会成本,比如为了尽快推出新特性抢占市场先机,统计显著性达到90%也是可以接受的,但需要知道这是有一定风险的。
一种情况,在测试过程中,有时统计显著性可能达到了95%,但继续测试,发现统计显著性又会降到95%以下,因此在统计显著性达到95%后,仍需要继续测试一段时间,发现显著性能够持续保持在95%以上,才可以结束测试。统计显著性的变化趋势如下图所示。
另一种情况,在测试过程中统计显著性始终不能达到90%,也就是两个版本对用户影响的差异不明显,我们观察一段时间后,只能结束测试。统计显著性的变化趋势如下图所示。
改进效果:(优化版本转化率 – 原始版本转化率)/ 原始版本转化率,表示优化版本与原始版本相比,转化率提高的幅度。
差异区间:优化版本与原始版本之间转化率差异的置信区间,或者说是最可能分布的区间范围。
注意,差异区间用转化率差异的绝对值表示,而不是相对比率。例如,原始版本的转化率为10%,优化版本的转化率为11%,则转化率的绝对差异为1%,而转化率的相对差异为10%(也就是优化版本相对原始改进了10%)。
上图中目标“homepage注册”优化版本#1的转化率19.6%是有随机误差的,随着A/B测试的继续进行,转化率的数值会有一个变化范围。
准确来说,原始版本与优化版本#1之间转化率的差异在 -1.64%和 +3.50%之间,也就是说优化版本#1的转化率最可能在(18.7% – 1.64%)= 17.06%和(18.7% + 3.50%)= 22.2%之间。通过差异区间来了解优化版本转化率的可能范围,以便做进一步优化。
业务分析
在统计学上的可信度确定以后,我们还要对AB测试结果做业务分析。业务分析是为了找到优化版本比原始版本好或差的真正原因,是AB测试结果分析的重要部分。我们要基于自己所从事行业的业务领域知识,结合客户心理、使用习惯、直觉本能、喜好倾向等角度来分析,把数字后面的道理挖掘出来,用来更好指导我们未来的行动。
你将获得:
1、价值上万元的专业的PPT报告模板。
2、专业案例分析和解读笔记。
3、实用的Excel、Word、PPT技巧。
4、VIP讨论群,共享资源。
5、优惠的会员商品。
6、线下活动优惠价格。
7、每年只需99元,老用户可八折续费。