江苏龙网

  1. 首页 > 人文 > >

人人都是产品经理策略产品经理实践：A/B测试上线流程( 二 )


以上数据为经验数据 ， 主要依据是笔者经历的大多数A/B测试的次日留存指标在第7天趋于稳定 ， 第8天、第9天、第10天和第7天的结果基本一致 。
其他指标的结束点时间同理 ， 本质上是因为用户行为数据会逐渐收到固定的值 。
结束点时间的选择是“实验精准度”和“项目迭代速度”的折中 ， 如果追求实验精准度 ， 每个实验都可以开启一年之久 ， 但这样的话在紧张的项目迭代周期中效率就会受到影响 ， 大多数公司以单周迭代或者双周迭代的节奏开展工作 。
八、分析实验结果
在结束点以后策略产品经理需要分析实验结果 ， 并给出如下的书面分析 。 分析实验数据的结果是否符合预期 ， 以及可能的原因 。 一般需要参考原始实验假设 ， 并且结合自己的主观体验报告来尝试回答这个问题 。 符合预期的实验 ， 下一步优化的点是什么 。 不符合预期的实验 ， 分析是假设错误还是验证错误 ， 下一步改进点是什么 。
【人人都是产品经理策略产品经理实践：A/B测试上线流程】九、灰度上线
如果实验取得了统计置信的正向收益 ， 需要对该策略进行灰度发布 ， 但是流程上会因是否需要发布客户端新版本而有所区别 。 如果需要发版 ， 走版本审核的通用灰度流程 ， 一般需要在小渠道放量 ， 观察产品在不同手机型号下是否存在漏洞 。 如果不需要发版 ， 关闭原试验 ， 在A/B测试平台将该实验状态调整为“灰度发布状态”（平台需要支持该功能） ， 调整实验组用户的占比 ， 观察天级指标的变化情况 。 比如第一天放量30% ， 观察目标指标（比如人均停留时长）在全量用户上的变化 。 灰度上线的目的是观察A/B测试在全量用户上真正取得的效果 ， 此时虽然不是严格A/B测试验证 ， 但也是十分必要的 ， 下文会介绍为什么正收益的A/B测试全量后效果不如原实验结果明显 。
十、回测机制
在KPI考核周期之前一般需要有组织地对有收益的实验进行回测 ， 所谓“回测” ， 实际上是对历史实验的重新测试 。
因为在实验期间有收益不代表一直存在收益（A/B测试存在局限性 ， 可能用户群的征分布发生了改变） ， 所以需要对考核周期内（比如说一个季度内）取得了较大收益的实验重新测试 ， 预期是拿到同样正向的收益（数据幅度可能会有差别 ， 这是正常的） 。
实验流程是前人通过不断试错总结出来的宝贵经验 ， 有三个核心收益 。
1. 慢即是快
虽然每个实验规范化的文档和对应的检验将会增加大概3小时的时间成本 ， 但对于算法或者策略这样为期数周且持续占用流量的实验来说 ， 是非常必要的 。
因为一个错误实现的实验 ， 轻则导致数周时间无效 ， 重则导致重要假设的错误验证 。 我们认真做好每个实验 ， 会比盲目地大量做浅尝辄止的实验更加高效 。
实验迭代速度加快 ， 不是通过减少实验的规范 ， 而是通过自动化流程的建立和效率工具的开发来实现的 。
2. 假设驱动
通过系统的假设、实验验证的方式来进行探索 ， 能够持续地增加我们对于业务、模型、数据的认知 。
A/B测试的成功率正常是小于20%的（成熟产品A/B测试成功率更是小于10%） ， 但基于假设驱动的实验方法 ， 即使是失败的实验 ， 我们也能从中提取知识 ， 挖掘新的优化点 。
另外 ， 建立系统的认知 ， 能够使我们找到持续可迭代的改进方案 ， 而非随机的策略优化 。
3. 持续积淀
对于算法策略团队而言 ， 每一个实验即一份学习资料 ， 积累的实验报告对公司内部的其他业务方向、新人培训等将有巨大的学习交流价值 。
这本用无数实验数据总结出的“实验教科书”能够放大单个实验的收益 ， 笔者自己便是最好的例子 ， 笔者和同事们共享实验数据库和实验结论 ， 使所有人都能更好地理解内容推荐业务 ， 更好地理解用户行为 ， 实现缩小自我、产品大众、平台共享的价值观 。


推荐阅读


上一篇：【】日增4.5万，巴西新冠肺炎确诊病例超过180万

下一篇：【】“甩锅”“断供”、退出世卫，美国要当“孤岛”？