https://index.zshipu.com/geek/tags/abtest/ Recent content in Abtest on 知识铺的博客 Hugo -- gohugo.io zh-CN Tue, 15 Mar 2022 11:19:36 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%90%AD%E5%BB%BA%E4%BC%81%E4%B8%9A%E7%BA%A7%E5%B9%B3%E5%8F%B0%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 11:19:36 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%90%AD%E5%BB%BA%E4%BC%81%E4%B8%9A%E7%BA%A7%E5%B9%B3%E5%8F%B0%E5%AE%9E%E8%B7%B5/ 什么是AB测试？ 在现实的产品迭代场景中，我们经常会遇到多个方案的选择的问题，在这里迭代的可以是UI界面，可以是算法策略。简单来说就是为同一个产品目标制定两个方案，一部分用户走A方案，另一部分走B方案，然后通过日志记录用户的使用情况，并通过结构化的日志数据分析相关指标，如点击率、转 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%AD%97%E8%8A%82%E6%8A%80%E6%9C%AF%E7%81%AB%E5%B1%B1%E5%BC%95%E6%93%8E%E6%B5%8B%E8%AF%95%E7%9A%84%E6%80%9D%E8%80%83%E4%B8%8E%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 10:39:40 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%AD%97%E8%8A%82%E6%8A%80%E6%9C%AF%E7%81%AB%E5%B1%B1%E5%BC%95%E6%93%8E%E6%B5%8B%E8%AF%95%E7%9A%84%E6%80%9D%E8%80%83%E4%B8%8E%E5%AE%9E%E8%B7%B5/ 康康 字节跳动技术团队 稿 本文整理自火山引擎开发者社区 Meetup 第四期同名演讲，主要为大家介绍了为什么要做 A/B 测试、火山引擎 A/B 测试系统架构及最佳实践。 为什么要做 A/B 测试 首先我们看一个案例。字节跳动有一款中视频产品叫西瓜视频，最早它叫做头条视频。为了提升产品的品牌辨识度，团队想给它起个更好的名字。 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%8B%9B%E8%81%98%E6%8E%A8%E8%8D%90%E7%B3%BB%E7%BB%9F%E4%BB%8B%E7%BB%8D%E5%AE%9E%E9%AA%8C%E6%A1%86%E6%9E%B6/ Tue, 15 Mar 2022 10:34:21 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%8B%9B%E8%81%98%E6%8E%A8%E8%8D%90%E7%B3%BB%E7%BB%9F%E4%BB%8B%E7%BB%8D%E5%AE%9E%E9%AA%8C%E6%A1%86%E6%9E%B6/ 58招聘智能推荐系统 推荐的概念早已渗透进我们的日常生活中，我们欣赏过各类电影、音乐、游戏榜单，沉迷过电商节日层出不穷的百货商品，甚至钻研过如何选择投资理财，如何购房置业，如何开启更好的职业生涯。在这样一个信息爆炸的时代，我们永远不缺少选项，如果没有推荐发挥作用，在海量的数据面前， https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%97%B2%E9%B1%BC%E6%8A%80%E6%9C%AF%E5%A6%82%E4%BD%95%E5%AE%9E%E7%8E%B0%E5%8D%96%E5%AE%B6%E5%A2%9E%E9%95%BF%E4%BB%BB%E5%8A%A1%E7%9A%84%E5%AE%9E%E9%AA%8C/ Tue, 15 Mar 2022 10:33:58 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%97%B2%E9%B1%BC%E6%8A%80%E6%9C%AF%E5%A6%82%E4%BD%95%E5%AE%9E%E7%8E%B0%E5%8D%96%E5%AE%B6%E5%A2%9E%E9%95%BF%E4%BB%BB%E5%8A%A1%E7%9A%84%E5%AE%9E%E9%AA%8C/ 逸初，远悠 闲鱼技术 背景 闲鱼是国内最大的二手闲置交易平台，卖家承担着商品供给的重要任务，对平台dau的影响也更大，所以我们会探索不同策略对卖家增长的影响与帮助。但接下来，如何借助AB实验对这些策略作科学的评估，就成了另一个挑战。本文提出了"全流量AB实验"这一设 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%A6%82%E4%BD%95%E6%9E%84%E5%BB%BA%E6%B5%8B%E8%AF%95%E7%B3%BB%E7%BB%9F%E5%85%B6%E6%A0%B8%E5%BF%83%E5%8A%9F%E8%83%BD%E6%9C%89%E5%93%AA%E4%BA%9B/ Tue, 15 Mar 2022 10:33:28 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%A6%82%E4%BD%95%E6%9E%84%E5%BB%BA%E6%B5%8B%E8%AF%95%E7%B3%BB%E7%BB%9F%E5%85%B6%E6%A0%B8%E5%BF%83%E5%8A%9F%E8%83%BD%E6%9C%89%E5%93%AA%E4%BA%9B/ 文章作者：贺园、刘扬 编辑整理：Hoh Xil 内容来源：《数据产品经理：实战进阶》 出品平台：DataFun 导读： 不管在精益创业还是增长黑客理论中，A/B 测试作为一种成熟的数据驱动产品优化的科学方法，其核心意义并不在于某一次试验的成功或者失败，而是这种通过试验和数据驱动的产品不断进化过程。 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%87%8D%E5%8F%A0%E5%AE%9E%E9%AA%8C%E6%A1%86%E6%9E%B6%E6%9B%B4%E5%A4%9A%E6%9B%B4%E5%A5%BD%E6%9B%B4%E5%BF%AB%E5%9C%B0%E5%AE%9E%E9%AA%8C/ Tue, 15 Mar 2022 10:02:44 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%87%8D%E5%8F%A0%E5%AE%9E%E9%AA%8C%E6%A1%86%E6%9E%B6%E6%9B%B4%E5%A4%9A%E6%9B%B4%E5%A5%BD%E6%9B%B4%E5%BF%AB%E5%9C%B0%E5%AE%9E%E9%AA%8C/ Introduction Google是一个数据驱动型公司，这意味着所有对用户的改动的发布，都要决策者以相应的经验数据作为依据。这些数据大部分是由在线流量上的实验产生的。在web的语境下，一个实验是由一股流量（比如，用户的请求）和在这股流量上进行的相对对比实验的修改组成的。修改包括用户可见的修改（比如， https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%B5%8B%E8%AF%95%E4%B8%AD%E6%88%91%E4%BB%AC%E9%83%BD%E4%BC%9A%E7%8A%AF%E7%9A%84%E5%8D%81%E4%B8%AA%E5%B8%B8%E8%A7%81%E9%94%99%E8%AF%AF/ Tue, 15 Mar 2022 09:59:08 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%B5%8B%E8%AF%95%E4%B8%AD%E6%88%91%E4%BB%AC%E9%83%BD%E4%BC%9A%E7%8A%AF%E7%9A%84%E5%8D%81%E4%B8%AA%E5%B8%B8%E8%A7%81%E9%94%99%E8%AF%AF/ 作者：Romain AYRES 本文由AI公园授权转载，转载请联系出处 编译：ronghuaiyang 导读 这篇博客文章的目的 不是告诉你在运行A/B测试时应该做什么，而是告诉你不应该做什么。 “没有数据，你只是一个有观点的人。” 这个著名的_W. Edwards Deming_引用说明了 A/B测试对于做出好的商业决 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%8E%A8%E8%8D%90%E7%B3%BB%E7%BB%9F%E6%A8%A1%E5%9E%8B%E7%9A%84%E5%BF%AB%E9%80%9F%E7%BA%BF%E4%B8%8A%E8%AF%84%E4%BC%B0%E6%96%B9%E6%B3%95/ Tue, 15 Mar 2022 09:34:19 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%8E%A8%E8%8D%90%E7%B3%BB%E7%BB%9F%E6%A8%A1%E5%9E%8B%E7%9A%84%E5%BF%AB%E9%80%9F%E7%BA%BF%E4%B8%8A%E8%AF%84%E4%BC%B0%E6%96%B9%E6%B3%95/ 王喆 今天我们关注模型的评估和线上测试。有经验的算法工程师肯定非常清楚，在一个模型的开发周期中，占工作量大头的其实是特征工程和模型评估及上线的过程。在机器学习平台已经非常成熟的现在，模型结构的实现和调整反而仅仅是几行代码的事情。所以 如果能够将模型评估和线上 AB Test 的效率提高，那一定是大 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%A6%82%E4%BD%95%E6%94%AF%E6%8C%81%E4%BA%BF%E7%BA%A7%E7%94%A8%E6%88%B7%E5%88%86%E6%B5%81%E5%AE%9E%E9%AA%8C%E5%AE%9E%E9%AA%8C%E5%B9%B3%E5%8F%B0%E5%9C%A8%E7%88%B1%E5%A5%87%E8%89%BA%E7%9A%84%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 09:20:47 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%A6%82%E4%BD%95%E6%94%AF%E6%8C%81%E4%BA%BF%E7%BA%A7%E7%94%A8%E6%88%B7%E5%88%86%E6%B5%81%E5%AE%9E%E9%AA%8C%E5%AE%9E%E9%AA%8C%E5%B9%B3%E5%8F%B0%E5%9C%A8%E7%88%B1%E5%A5%87%E8%89%BA%E7%9A%84%E5%AE%9E%E8%B7%B5/ 作者： 数据智能团队 爱奇艺技术产品团队 01 背景 随着互联网公司的产品和业务越来越多样，利用数据来驱动业务决策成为必然， 而AB实验正是以数据指标来判断产品功能和运营策略迭代效果的方法和工具，其可以在保证样本同时性和同质性基础上，对比两个或多个实验组在同一应用场景下的效果。 以上边的实验为例 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%82%A3%E4%BA%9B%E4%BA%8B%E5%84%BF%E4%B8%8B%E6%95%B0%E6%8D%AE%E8%B7%9F%E8%B8%AA%E5%92%8C%E6%95%88%E6%9E%9C%E8%AF%84%E4%BC%B0/ Tue, 15 Mar 2022 09:20:40 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%82%A3%E4%BA%9B%E4%BA%8B%E5%84%BF%E4%B8%8B%E6%95%B0%E6%8D%AE%E8%B7%9F%E8%B8%AA%E5%92%8C%E6%95%88%E6%9E%9C%E8%AF%84%E4%BC%B0/ 作者： 沈国阳 上一篇文章，我们通过一个八卦了解了abtest在产品功能及策略迭代过程中的重要价值，并且介绍了abtest的一个简单框架，以及多层abtest框架里面，层与层之间关系的定义。本篇将讨论数据跟踪方法和效果评估方法相关的话题。本文部分内容结合过往工作中学习到的知识进行了自 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%BE%8E%E5%9B%A2%E9%85%8D%E9%80%81%E8%AF%84%E4%BC%B0%E4%BD%93%E7%B3%BB%E5%BB%BA%E8%AE%BE%E4%B8%8E%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 09:14:16 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%BE%8E%E5%9B%A2%E9%85%8D%E9%80%81%E8%AF%84%E4%BC%B0%E4%BD%93%E7%B3%BB%E5%BB%BA%E8%AE%BE%E4%B8%8E%E5%AE%9E%E8%B7%B5/ 导读： 2019 年 5 月 6 日，美团正式推出新品牌“美团配送”，发布了美团配送新愿景：“每天完成一亿次值得信赖的配送服务，成为不可或缺的生活基础设施。”现在，美团配送已经服务于全国 400 多万商家和 4 亿多用户，覆盖 2800 余座市县，日活跃骑手超过 70 万人，成为全球领先的分钟级配送网络。 本文从评估体系建设的 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%9C%89%E8%B5%9E%E7%B3%BB%E7%BB%9F%E6%95%B0%E6%8D%AE%E9%A9%B1%E5%8A%A8%E5%A2%9E%E9%95%BF%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 09:13:36 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%9C%89%E8%B5%9E%E7%B3%BB%E7%BB%9F%E6%95%B0%E6%8D%AE%E9%A9%B1%E5%8A%A8%E5%A2%9E%E9%95%BF%E5%AE%9E%E8%B7%B5/ 作者：子固 部门：数据中台 一、背景 有赞是一个商家服务公司，致力于帮助每一位重视产品和服务的商家成功。随着移动互联网的流量增长红利渐渐褪去，商家获得新的流量越来越困难，帮助商家实现更有效的流量转化与长期目标的增长是有赞SaaS服务的应有之义；同时，随着有赞SaaS功能的不断完善，服务 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%A6%82%E4%BD%95%E8%AE%BE%E8%AE%A1%E4%B8%80%E4%B8%AA/ Tue, 15 Mar 2022 09:06:24 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%A6%82%E4%BD%95%E8%AE%BE%E8%AE%A1%E4%B8%80%E4%B8%AA/ 作者：刘健阁（Jiange Liu），PCG 数据分析师 实验设计 AB Test 实验一般有 2 个目的： 判断哪个更好：例如，有 2 个 UI 设计，究竟是 A 更好一些，还是 B 更好一些，我们需要实验判定 计算收益：例如，最近新上线了一个直播功能，那么直播功能究竟给平台带了来多少额外的 DAU，多少额外的使用时长，多少 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E4%B8%89%E6%8E%A8%E8%8D%90%E7%B3%BB%E7%BB%9F%E7%9A%84%E5%BF%85%E5%A4%87%E8%A6%81%E7%B4%A0%E6%A1%86%E6%9E%B6/ Tue, 15 Mar 2022 09:04:42 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E4%B8%89%E6%8E%A8%E8%8D%90%E7%B3%BB%E7%BB%9F%E7%9A%84%E5%BF%85%E5%A4%87%E8%A6%81%E7%B4%A0%E6%A1%86%E6%9E%B6/ 原文： 姚凯飞 「无法衡量就无法优化」，对于互联网产品而言，不仅是推荐系统，整个app系统的更新迭代必然需要建立一套 「度量衡」，来 「把控整个流程优化的方向」 。而abtest系统就是一个很好的进行变量控制和优化方向选取的 「工具」， 「循环:衡量-发现-迭代-验证」 。所谓 「精细化迭代」 是一 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%BB%B4%E6%BB%B4%E6%95%B0%E6%8D%AE%E9%A9%B1%E5%8A%A8%E5%88%A9%E5%99%A8%E4%B9%8B%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 09:02:35 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%BB%B4%E6%BB%B4%E6%95%B0%E6%8D%AE%E9%A9%B1%E5%8A%A8%E5%88%A9%E5%99%A8%E4%B9%8B%E5%AE%9E%E8%B7%B5/ 桔妹导读：在各大互联网公司都提倡数据驱动的今天，AB 实验是我们进行决策分析的一个重要利器。一次实验过程会包含多个环节，今天主要给大家分享滴滴实验平台在分组环节推出的一种提升分组均匀性的新方法。本文首先会介绍一下滴滴 AB 实验的相关情况，以及在实验分组环节中遇到的问题。然后介绍目前在实 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%A9%AC%E8%9C%82%E7%AA%9D%E5%A4%9A%E5%B1%82%E5%88%86%E6%B5%81%E7%B3%BB%E7%BB%9F%E7%9A%84%E8%AE%BE%E8%AE%A1%E4%B8%8E%E5%AE%9E%E7%8E%B0/ Tue, 15 Mar 2022 09:02:33 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%A9%AC%E8%9C%82%E7%AA%9D%E5%A4%9A%E5%B1%82%E5%88%86%E6%B5%81%E7%B3%BB%E7%BB%9F%E7%9A%84%E8%AE%BE%E8%AE%A1%E4%B8%8E%E5%AE%9E%E7%8E%B0/ 导读： 5 月 23 日，马蜂窝旅游网宣布完成 2.5 亿美元新一轮融资，此轮融资由腾讯领投。 在接授腾讯《潜望》栏目的专访时，马蜂窝 CEO 陈罡谈到，「现在马蜂窝是个数据驱动的公司，要以结果说话，能用 ABTest 解决的问题就没有必要谈其他」。 作为一家数据驱动的公司，当前在马蜂窝 ABTest 已经基本覆盖所有业务线并稳定运行。 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%BE%AE%E8%BD%AF%E5%AE%9E%E9%AA%8C%E7%AE%A1%E7%90%86%E5%B9%B3%E5%8F%B0/ Tue, 15 Mar 2022 09:02:08 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%BE%AE%E8%BD%AF%E5%AE%9E%E9%AA%8C%E7%AE%A1%E7%90%86%E5%B9%B3%E5%8F%B0/ Conference Paper · May 2018 The Anatomy of a Large-Scale Online Experimentation Platform。 因为工作负责和ABTest相关的事情，所以对ABTest系统理论与工程落地情况一直在调研，根据上面这篇论文，我们一起来学习下微软EXP系统的工程实现。摘要及其相关工作啥的废话略过，先放一张架构图： 整个系统包含四部分： 1. experiment portal： po https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%BE%8E%E5%9B%A2%E7%82%B9%E8%AF%84%E6%95%88%E6%9E%9C%E5%B9%BF%E5%91%8A%E5%AE%9E%E9%AA%8C%E9%85%8D%E7%BD%AE%E5%B9%B3%E5%8F%B0%E7%9A%84%E8%AE%BE%E8%AE%A1%E4%B8%8E%E5%AE%9E%E7%8E%B0/ Tue, 15 Mar 2022 09:01:26 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%BE%8E%E5%9B%A2%E7%82%B9%E8%AF%84%E6%95%88%E6%9E%9C%E5%B9%BF%E5%91%8A%E5%AE%9E%E9%AA%8C%E9%85%8D%E7%BD%AE%E5%B9%B3%E5%8F%B0%E7%9A%84%E8%AE%BE%E8%AE%A1%E4%B8%8E%E5%AE%9E%E7%8E%B0/ 转载自 美团点评技术团队 一. 背景 效果广告的主要特点之一是可量化，即广告系统的所有业务指标都是可以计算并通过数字进行展示的。因此，可以通过业务指标来表示广告系统的迭代效果。那如何在全量上线前确认迭代的结果呢？通用的方法是采用AB实验（如图1）。所谓AB实验，是指单个变量具有两个版本A https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%98%BF%E9%87%8C%E5%A6%88%E5%A6%88%E6%95%B0%E6%8D%AE%E7%A7%91%E5%AD%A6%E7%B3%BB%E5%88%97%E7%AC%AC%E4%B8%80%E7%AF%87%E8%AE%A4%E8%AF%86%E5%9C%A8%E7%BA%BF%E5%AE%9E%E9%AA%8C/ Tue, 15 Mar 2022 08:59:41 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%98%BF%E9%87%8C%E5%A6%88%E5%A6%88%E6%95%B0%E6%8D%AE%E7%A7%91%E5%AD%A6%E7%B3%BB%E5%88%97%E7%AC%AC%E4%B8%80%E7%AF%87%E8%AE%A4%E8%AF%86%E5%9C%A8%E7%BA%BF%E5%AE%9E%E9%AA%8C/ 前言 在互联网业务中，“增长”是永恒的主题，但随着互联网时代的发展，野蛮增长的流量红利已逐渐消失，如何在策略效果不可见的条件下，实现有效增长是当下互联网企业的难题。面对未知的策略价值，在线实验成为了有效的测度手段，自2000年 Google 将实验技术应用在互联网产品中，在线实验已经成为互联网企 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%92%8C%E5%81%87%E8%AE%BE%E6%A3%80%E9%AA%8C%E6%B5%81%E9%87%8F%E5%88%86%E9%85%8D/ Tue, 15 Mar 2022 08:56:06 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%92%8C%E5%81%87%E8%AE%BE%E6%A3%80%E9%AA%8C%E6%B5%81%E9%87%8F%E5%88%86%E9%85%8D/ 我们观测到的值，并不是我们需要的参数的真实值，而是真实值的估计（举个例子，平均值和期望）；这也就意味着，估计可能是不准确的，ABtest的结果可能是错误的。直观上说，样本越多，我们可能犯错的概率越小。我们梳理了这块儿的知识，做一个学习总结。 实际业务中，我们定量下面几个问题： 1）A https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%BD%92%E5%9B%A0%E5%88%86%E6%9E%90%E6%B7%98%E5%AE%9D%E7%9B%B4%E6%92%AD%E6%95%B0%E6%8D%AE%E5%8A%A9%E7%90%86%E5%8F%8A%E5%85%B6%E4%BB%B7%E5%80%BC%E7%A0%94%E7%A9%B6/ Tue, 15 Mar 2022 08:56:02 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%BD%92%E5%9B%A0%E5%88%86%E6%9E%90%E6%B7%98%E5%AE%9D%E7%9B%B4%E6%92%AD%E6%95%B0%E6%8D%AE%E5%8A%A9%E7%90%86%E5%8F%8A%E5%85%B6%E4%BB%B7%E5%80%BC%E7%A0%94%E7%A9%B6/ 文章作者：刘士博、孙艳、丁建栋 作者公司：阿里巴巴 出品平台：DataFunTalk 导读： 近年来，直播带货成为一种新的流行业态。主播在直播间与线上消费者实时互动，这极大的提高了信息交流的效率。在这种实时性极强的场景，主播对直播间实时信息的使用有可显著影响直播间的带货情况。 为了让主播实 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9C%A8%E5%AE%9E%E9%AA%8C%E5%88%86%E6%9E%90%E5%B9%B3%E5%8F%B0%E7%9A%84%E5%BB%BA%E8%AE%BE%E4%B8%8E%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 08:54:33 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9C%A8%E5%AE%9E%E9%AA%8C%E5%88%86%E6%9E%90%E5%B9%B3%E5%8F%B0%E7%9A%84%E5%BB%BA%E8%AE%BE%E4%B8%8E%E5%AE%9E%E8%B7%B5/ OPPO互联网技术 A/B实验是很多公司的标配，在OPPO也不例。它是提供科学的数据决策的方式，帮助深入分析用户行为，支持个性化策略，同时降低产品迭代风险，达到业务快速验证、快速迭代的效果。 但在Galileo实验分析平台建设完成前，公司A/B实验的平台能力处在发展初期，功能不完善， https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%A5%9E%E7%AD%96%E6%95%B0%E6%8D%AE%E4%BB%8E%E6%8A%80%E6%9C%AF%E8%A7%86%E8%A7%92%E7%9C%8B%E4%BB%80%E4%B9%88%E6%89%8D%E6%98%AF%E5%80%BC%E5%BE%97%E6%8B%A5%E6%9C%89%E7%9A%84%E6%B5%8B%E8%AF%95/ Tue, 15 Mar 2022 08:53:56 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%A5%9E%E7%AD%96%E6%95%B0%E6%8D%AE%E4%BB%8E%E6%8A%80%E6%9C%AF%E8%A7%86%E8%A7%92%E7%9C%8B%E4%BB%80%E4%B9%88%E6%89%8D%E6%98%AF%E5%80%BC%E5%BE%97%E6%8B%A5%E6%9C%89%E7%9A%84%E6%B5%8B%E8%AF%95/ 神策数据 稿 A/B 测试被更多人熟知的是持续观察并对照按一定规则分成的 A、B 两组测试样本， 基于数据反馈辅助优化决策，其背后复杂的数学理论和试验基础设施却往往被人忽视。 目前，国内一线互联网公司大多采用自研的方式建设 A/B 测试平台，而中小互联网企业和传统行业的企业则会选择自采的方式建设 A/B 测试平台 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%98%BF%E9%87%8C%E5%A6%88%E5%A6%88%E5%A4%A7%E8%A7%84%E6%A8%A1%E5%9C%A8%E7%BA%BF%E5%88%86%E5%B1%82%E5%AE%9E%E9%AA%8C%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 03:39:08 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%98%BF%E9%87%8C%E5%A6%88%E5%A6%88%E5%A4%A7%E8%A7%84%E6%A8%A1%E5%9C%A8%E7%BA%BF%E5%88%86%E5%B1%82%E5%AE%9E%E9%AA%8C%E5%AE%9E%E8%B7%B5/ 作者： 敖丙 少衡 见独 宏真 2016 年 9 月 19 日 话题：阿里巴巴语言 & 开发架构阿里云 引言 在线服务系统的 AB-test 方法有很多种。搭建多个可服务集群，从物理上对流量进行隔离是比较常见的一种方式。这种方式应用于大型复杂的在线服务系统时，存在部署比较慢的问题。这种方式的典型架构如下图所示。 QueryRewrit https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%B9%B2%E8%B4%A7%E4%BD%A0%E6%83%B3%E7%9F%A5%E9%81%93%E7%9A%84%E5%AE%9E%E9%AA%8C%E7%9F%A5%E8%AF%86%E5%85%A8%E5%9C%A8%E8%BF%99%E9%87%8C%E4%BA%86/ Mon, 14 Mar 2022 18:30:39 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%B9%B2%E8%B4%A7%E4%BD%A0%E6%83%B3%E7%9F%A5%E9%81%93%E7%9A%84%E5%AE%9E%E9%AA%8C%E7%9F%A5%E8%AF%86%E5%85%A8%E5%9C%A8%E8%BF%99%E9%87%8C%E4%BA%86/ 作者介绍： @花花 曾任职于美团、腾讯、今日头条担任数据分析师。 操盘过上百亿的资源评估，与大家一起成长学习。 01 前言 A/B实验的目的在于通过科学的实验设计、采样样本代表性、流量分割与小流量测试等方式来获得具有代表性的结论，并确信该结论可推广到全部流量。目前已广泛用于推荐算法、产品交互设 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%98%BF%E9%87%8C%E5%A6%88%E5%A6%88%E6%95%B0%E6%8D%AE%E7%A7%91%E5%AD%A6%E7%B3%BB%E5%88%97%E7%AC%AC%E4%BA%8C%E7%AF%87%E5%9C%A8%E7%BA%BF%E5%88%86%E6%B5%81%E6%A1%86%E6%9E%B6%E4%B8%8B%E7%9A%84/ Mon, 14 Mar 2022 17:26:17 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%98%BF%E9%87%8C%E5%A6%88%E5%A6%88%E6%95%B0%E6%8D%AE%E7%A7%91%E5%AD%A6%E7%B3%BB%E5%88%97%E7%AC%AC%E4%BA%8C%E7%AF%87%E5%9C%A8%E7%BA%BF%E5%88%86%E6%B5%81%E6%A1%86%E6%9E%B6%E4%B8%8B%E7%9A%84/ 第一篇： 【阿里妈妈数据科学系列】第一篇：认识在线实验 (ABTest) 拾芥、芋萌 阿里妈妈技术 背景 AB Test 是为同一目标制定两个方案，在同一时间维度，保证其他条件一致的情况下，分析实验组跟对照组的区别，根据不同的实验类型以及应用场景，产生了不同分桶逻辑的AB Test，包括在线分流及离线抽样。在流量侧进行