江苏龙网

  1. 首页 > 人文 > >

人人都是产品经理策略产品经理实践：A/B测试上线流程


编辑导语：策略产品经理实践往往会经历A/B测试上线流程 ， 那么其流程具体是什么样呢？有哪些需要注意的点呢？本文作者来为大家做详细的说明 。
人人都是产品经理策略产品经理实践：A/B测试上线流程
本文插图
本文将介绍大多数公司中A/B测试的上线流程（如图5-1所示） ， 主要分为以下几个环节：
人人都是产品经理策略产品经理实践：A/B测试上线流程
本文插图
一、提出需求
策略产品经理基于先验判断、数据分析结论或者领导要求 ， 需要上线一个策略实验需求 。
二、设计实验
策略产品经理了解相关技术逻辑 ， 设计单变量实验并撰写策略实验文档 ， 包括但不限于实验逻辑描述 ， 如何验证实验假设 ， 以及预期的数据收益 。
三、技术工程师自测
算法工程师完成需求 ， 测试工程师介入测试（有时候策略产品经理需要充当测试工程师的角色） ， 添加实验白名单 ， 确保自己的测试账号命中实验 。
四、策略产品经理体验策略
策略产品经理在A/B测试上线后通过将自己的测试账号在不同的实验组中切换 ， 反复验证实现逻辑是否完全符合需求文档 ， 并仔细体验两组实验的主观差异（如果拥有中台系统 ， 可以通过后台实现同一用户的内容推荐顺序对比） ， 时间允许的情况下可以写主观评估报告 。
五、上线后的检查点1
上线后2小时观察相关数据 ， 主要通过实时数据判断实验开启后是否存在问题 ， 检查以下数据是否正常并记录在文档 。 如果存在问题 ， 立即检查问题；如果没有问题 ， 在下一个检查点重新确认 。
1.候选集曝光量是否符合预期
如果是涉及内容候选集的实验 ， 需要检查内容候选集曝光是否是0 。 如果实验没问题 ， 该数值应该是大于0的数字 。
2.服务端请求日志的数据量是否符合预期
策略产品经理一般很难看到该数值 ， 笔者的经验是在实验开启后 ， 找算法工程师一起检查一下服务端请求日志的监控 ， 如果实验正常开启则请求数据量不为0 。
笔者遇到多次实验开启但是服务端未生效的问题 ， 可能是上线流程存在问题 ， 如果检查不及时在第二天才发现 ， 会影响项目进度 。
如果实验流量比例过高导致性能压力剧增 ， 需要调低流量比例 。
3.实验开启后的过滤策略或排序策略是否生效
如果是过滤策略 ， 需要检查用户推荐日志中实验组需要过滤的内容标签是否存在 。
如果是排序策略 ， 需要对用户推荐日志中的前50条结果进行随机抽样分析 ， 检查带有响应标签的内容排序是否更靠前 。 策略产品经理需要验证上线产品是否符合预期并记录到实验文档中 。
六、检查点2
上线24小时后观察数据变化 ， 此时检查的重点是实验是否存在更深层次的实现漏洞 。
一般来说 ， 24小时后的数据结果往往和结束点的数据结果趋势相同 ， 此时的检查可以提前发现数据趋势 ， 明确不符合预期的部分（如果有问题 ， 可以提前重新检查一遍实现方式；如果没有 ， 则通过 ， 不用检查） 。
如果有时间 ， 建议策略产品经理再次体验实验组和对照组的策略 ， 此次的体验和上次的感受是不同的 ， 因为实验开启时第一次体验实验组策略可能会有新奇感 ， 并且重心在于测试边界用例而非用同理心来理解用户的情绪 。
在检查点2重新体验实验组策略 ， 会对用户的情绪理解得更纯粹 ， 不仅消除了新奇感带来的误差 ， 而且可以更加放松地置身于产品中 ， 以普通用户的心态来使用产品 ， 此时最容易获得用户洞察 。
七、结束点
在结束点需要终止实验 ， 基于多天累计数据 ， 对相应指标进行数据分析并形成数据报告 。
关于结束点的选取 ， 不同类型的产品和不同的观察指标有所不同 ， 具体的选择方式如下：对于日活级产品（DAU/MAU大于50%的产品）：普通指标需要观察3个完整天以上（一般为4天） ， 次日留存指标需要观察7个完整天以上（一般为8天） ， 次周留存指标需要观察14个完整天以上（一般为15天） 。 对于周活级产品（DAU/MAU小于50%的产品）：此类产品用户并非每天活跃 ， 并且具有强周期性 。 普通指标需要观察7个完整天以上 ， 一般为8天 ， 因为需要一个周期内的用户行为对比 。 次日留存指标需要观察10个完整天以上 ， 一般为15天 ， 因为需要两个周期内 ， 两个分组的用户行为对比 。 次周留存指标需要14个完整以上 ， 一般为15天 ， 因为需要两个周期内两个分组的用户行为对比 。


推荐阅读


上一篇：【】日增4.5万，巴西新冠肺炎确诊病例超过180万

下一篇：【】“甩锅”“断供”、退出世卫，美国要当“孤岛”？