来源: 贝壳智搜

在数据驱动、智能化浪潮中,工程和算法往往并行不悖。效果工具链贯穿了所有效果优化类业务,做到 对优化流程的追踪、作业行为管控。作为效果优化系列的开篇文章,本篇旨在从 工程角度 介绍运营平台 重塑作业流程 的实施思路。除此篇之外,还包含算法迭代系统篇、搜索策略篇。

1.业务背景

随着业务规模现象级增长,围绕迭代效率为中心的敏捷实施过程可以明显缩减产品周期。在贝壳找房,为了满足用户多样的搜房体验、搜索等业务的快速发展,导致效果优化过程面临着高耦合的挑战。面对业务逻辑复杂、维护成本过高问题,只有科学的规划迭代流程,才能不断适应用户百变的口味。

这不仅给算法的迭代进度带来的挑战,也反推工程对工程架构的优化和研发,工程算法密切合作的同时也明确了工程、算法的边界。运营平台也以 提供规范化流程 应运而生。

2.平台理念

“我是谁?我从哪里来?要到哪里去?”看似简单的问题实际上包含了一整套思考解决问题的逻辑。一切问题的起点源于发现问题,才能进行后续一系列效果类优化。

2.1 我是谁-效果优化是什么?

效果优化即 让数据驱动概念由隐性变得显性、且越来越显性的过程。无论哪种业务,更高的 CTR 或是商机转化,都需要经过发现问题、解决问题、模拟预测、线上实验环节,最终回归至问题本身。

2.2 从哪里来-问题根源?

首先,随着业务的逐渐成熟,优化路径变长、迭代缓慢的现象变得尤为普遍。为了减少迭代过程中的外界干扰,打通整套流程提高迭代效率变得尤为重要。

其次,业务积累伴随着参与优化的人数增加,面对的是业务代码的堆叠、逻辑的冲突、流程规范的缺失,针对每个问题一对一修改成本过高,所以需要一套完整的、灵活的标准流程来归纳、规范效果优化流程。

2.3 要到哪里去-结果导向?

针对上述问题,为了将标准贯穿效果优化周期的始终。一套以“提效、规范”为设计理念的灵活、高效的效果优化工具链应运而生。为了直观表达效果优化的各个环节,以下阐述的工具链仅为效果优化工具链流程的一个缩影。

效果优化闭环工具链缩影 效果评测系统:问题发现角度。通过评测日志等方式,发现搜索等效果优化类业务中的结果中的 badcase,归纳总结报表发现隐形问题。

人工干预系统:解决问题角度。通过人工干预方式,对评测过程中发现的 badcase 强行干预,保证业务结果的准确性。

离线预测系统:模拟预测角度。将发现问题针对算法、策略一系列优化后,离线方式模拟线上环境,预测线上效果、预估影响面。

AB 流量实验系统:线上实验角度。实验分流,通过多维度、多层次的对比实验观察线上效果,提升效果指标。

标注系统:回归至问题角度,辅助发现问题,丰富解决问题手段。

3. 技术架构

3.1 效果评测系统

评测流程图 作为效果优化过程的源头,为了满足各个业务效果评测效果的需求,对各个业务方离线日志中的召回、排序结果回放,还原原始请求等场景。

通过引入 NLU 解析信息以及离线用户画像偏好信息作为评测参考,将问题归类以便 PM 或 RD 在效果优化时及时发现问题所在。

3.2 预测系统

预测系统可以对将要上线的模型,策略规则,置顶房源等通过标准化,流程化的分析,做出准备的预测,以达到预测效果的作用。未来我们将更多的人力,打造预测系统,预测系统将对搜索效果优化,起到对新实验的影响面预测作用。对后续的模型上线,排序规则优化,提供预上线分析,降低直接上线带来的一系列风险。

3.3 人工干预系统

人工干预可对搜索的召回、粗排、精排、置顶、意图识别模块进行干预,以达到产品需求的快速响应,从而为产品优化预留出时间,以及对产品做优化。目前,人工干预已经成了正循环,对 C 端提出的需求进行快速干预。

在干预 case 同时,并不是就此结束,产品经理还会对 case 进行分类,在后续持续迭代优化中,具有指导性的建议。从而达到人工干预对整个搜索效果的赋能。

3.4 AB 流量实验系统

AB 实验 2000 年由 Google 工程师最早提出并应用至产品迭代。发展到现在,AB 实验早已在整个产品迭代周期中成为至关重要的一环,不断指导着产品迭代的同时也成为提升商机转化率的显式抓手。

作为数据驱动方法论的一面镜子,AB 实验通过数据来描述客观事实、用统计分析方法分析规律,为产品决策提供科学证据,提升用户体验。与经典的实验场景类似,我们设计的 AB 实验系统也基于 流量大、样本多、完全独立、随机分流 的特点,适配于搜索等效果优化类业务场景。宏观角度讲,我们的 AB 实验系统共有以下 4 部分组成。

  • 配置模块。RD 通过配置模块完成业务选择、配置策略上传功能,并下发至固定服务,做到固定服务实时生效配置策略。
  • 流量实验模块。选择服务,支持对实验层、实验分组及二者策略、流量的自定义配置、实验指标自定义配置。
  • 实验下发模块。实验配置实时下发至网关完成实验分流。业务方通过网关拉取实验策略信息。
  • 实验效果回收。支持实验效果 T-1 回收及存储。减轻实验分析、实验结果存储、实验效果对比成本。

AB 流量实验使用概览图 通过以上对比实验流程,即可完成实验组与对照组显著性差异分析。重塑 AB 实验时复杂的操作流程可能导致的线上风险。

3.5 标注系统

标注作为监督类学习中数据产出的唯一途径,一方面,往往因为标注规则千变万化导致标注成本突增。且数据质量提升不明显也成为算法性能提升的瓶颈。另一方面,将熟数据统一管理保证了数据安全,防止数据流失。系统架构图如下所示。

标注系统架构图

设计过程中,我们围绕“通用、提效、提质、管理“的原则、“自顶向下“的设计来思路设计,防止因为标注方式和规则的千变万化而过于定制,着重强调了任务的适配程度,做到文本、图片、语音类型数据的标注的高度适配及数据管理。除此之外,自定义标签提高了标注系统的灵活性,交叉验证保证数据质量。

4.总结展望

现阶段,运营平台经过了 0 到 1 的过程。下个阶段,平台对�