江苏龙网

  1. 首页 > 人文 > >

深入了解技术交易中最强大的工具：A/B测试是如何工作的？


全文共3166字 ， 预计学习时长8分钟
深入了解技术交易中最强大的工具：A/B测试是如何工作的？
本文插图
图源：thomasnaet
A/B测试 ， 简而言之就是通过创建可信的克隆来研究因果关系 ， 即两个相同的项目（或者更典型的是两个统计上完全相同的组） ， 然后观察不同处理它们的效果 。
两个相同的项目不是仅仅相似的就可以了 ， 我的意思是比下面图片上的两只猫还要相同 ， 关键是找到“可信的克隆体” ， 或者让随机化和大样本量为你创建出来 。
深入了解技术交易中最强大的工具：A/B测试是如何工作的？
本文插图
科学的、受控的实验是极佳的工具：它允许人们讨论原理和成因 。 如果没有它们 ， 那么人们了解的只是相关性 ， 这通常对决策没有什么帮助 。 可以说 ， 实验是在文明对话中使用“因为”一词的许可证 。
但令人痛心的是 ， 贪恋结果而不愿付出、对推理的质量自欺欺人、在没有做适当实验就声称自己是科学实验的情况是很普遍的 。 如果出现不确定的情况 ， 除非存在以下所有三个原因 ， 否则你所做的将不算实验：
· 运用了不同的方法
· 方法随机分配
· 经过科学检验的假设（查看我的解释：http://bit.ly/quaesita_damnedlies）
想要知道为什么实验被用作推断因果关系的工具 ， 请看最简单的实验之一——A/B测试——背后的逻辑 。
简要说明
如果不想阅读详细的示例 ， 请查看此GIF ， 然后跳到最后一部分（“秘密在于随机性”） 。
深入了解技术交易中最强大的工具：A/B测试是如何工作的？
本文插图
详细说明
想象一下 ， 你的公司有灰色徽标已经用了好几年了 。 现在 ， 你的所有竞争对手也都使用了灰色徽标（模仿是最真诚的奉承） ， 你的高管坚持要求将品牌重塑为更明亮的颜色……但是 ， 换成什么颜色的呢？
深入了解技术交易中最强大的工具：A/B测试是如何工作的？
本文插图
虽然你的用户看到的徽标是灰色的 ， 但这即将改变 。
在仔细评估了贵公司网站配色方案的实用性之后 ， 你的设计团队确定了仅有的两个可行的候选颜色：蓝色和橙色 。
CEO最喜欢的颜色是蓝色 ， 因此她选择批准蓝色作为默认方案 。 换句话说 ， 她认为如果没有其他原因的话 ， 她很乐意偏向选择蓝色 。 但幸运的是 ， 她是一位由数据驱动的强大领导者 ， 并且愿意在数据驱动下将她的想法变为橙色 。
但CEO要看到切实的数据才愿意妥协 ， 她要求提供证据表明橙色徽标在当前的用户群体中 ， 可以使网站的特定部分产生更多的点击量（相对于蓝色） 。
你是公司的高级数据科学家 ， 到你搬砖的时刻了 ， 你立即确定CEO的决策方法符合频率统计中的框架 。 在仔细听了她的话之后 ， 你确定了她的零假设和备择假设与因果关系有关 ， 这意味着需要做个实验 。 总结一下她告诉你的内容：
· 默认方案：批准蓝色徽标 。
· 替代方案：批准橙色徽标 。
· 零假设：橙色徽标不会比蓝色徽标多点击至少10％ 。
· 备择假设：橙色徽标的点击率至少比蓝色徽标高10％ 。
对于这样的设置 ， A/ B测试是理想的实验设计 。 （对于其他因果决策 ， 可能需要其他设计 。 尽管在这里我仅介绍A/B测试 ， 但更复杂的设计背后的逻辑是相似的 。 ）
实时交通实验
深入了解技术交易中最强大的工具：A/B测试是如何工作的？
本文插图
图源：unsplash
有多种方法可以运行A/B测试 。 在心理学实验室（和焦点小组研究）中 ， 我们看到的往往是邀请人们走到街上 ， 向不同的人随机展示不同的刺激因素 ， 然后向他们提问 。


推荐阅读


上一篇：|鄂豫皖人民有福了！时速350公里高铁站点明确，途径12县市设站13座

下一篇：一个人的身影|逼出美国最终“底牌”！，特朗普根本拦不住！中国连抛1207亿美债