来源： 贝壳智搜

在数据驱动、智能化浪潮中，工程和算法往往并行不悖。效果工具链贯穿了所有效果优化类业务，做到 对优化流程的追踪、作业行为管控。作为效果优化系列的开篇文章，本篇旨在从 工程角度 介绍运营平台 重塑作业流程 的实施思路。除此篇之外，还包含算法迭代系统篇、搜索策略篇。

1.业务背景

随着业务规模现象级增长，围绕迭代效率为中心的敏捷实施过程可以明显缩减产品周期。在贝壳找房，为了满足用户多样的搜房体验、搜索等业务的快速发展，导致效果优化过程面临着高耦合的挑战。面对业务逻辑复杂、维护成本过高问题，只有科学的规划迭代流程，才能不断适应用户百变的口味。

这不仅给算法的迭代进度带来的挑战，也反推工程对工程架构的优化和研发，工程算法密切合作的同时也明确了工程、算法的边界。运营平台也以 提供规范化流程 应运而生。

2.平台理念

“我是谁？我从哪里来？要到哪里去？”看似简单的问题实际上包含了一整套思考解决问题的逻辑。一切问题的起点源于发现问题，才能进行后续一系列效果类优化。

2.1 我是谁-效果优化是什么？

效果优化即 让数据驱动概念由隐性变得显性、且越来越显性的过程。无论哪种业务，更高的 CTR 或是商机转化，都需要经过发现问题、解决问题、模拟预测、线上实验环节，最终回归至问题本身。

2.2 从哪里来-问题根源？

首先，随着业务的逐渐成熟，优化路径变长、迭代缓慢的现象变得尤为普遍。为了减少迭代过程中的外界干扰，打通整套流程提高迭代效率变得尤为重要。

其次，业务积累伴随着参与优化的人数增加，面对的是业务代码的堆叠、逻辑的冲突、流程规范的缺失，针对每个问题一对一修改成本过高，所以需要一套完整的、灵活的标准流程来归纳、规范效果优化流程。

2.3 要到哪里去-结果导向？

针对上述问题，为了将标准贯穿效果优化周期的始终。一套以“提效、规范”为设计理念的灵活、高效的效果优化工具链应运而生。为了直观表达效果优化的各个环节，以下阐述的工具链仅为效果优化工具链流程的一个缩影。

效果优化闭环工具链缩影 效果评测系统：问题发现角度。通过评测日志等方式，发现搜索等效果优化类业务中的结果中的 badcase，归纳总结报表发现隐形问题。

人工干预系统：解决问题角度。通过人工干预方式，对评测过程中发现的 badcase 强行干预，保证业务结果的准确性。

离线预测系统：模拟预测角度。将发现问题针对算法、策略一系列优化后，离线方式模拟线上环境，预测线上效果、预估影响面。

AB 流量实验系统：线上实验角度。实验分流，通过多维度、多层次的对比实验观察线上效果，提升效果指标。

标注系统：回归至问题角度，辅助发现问题，丰富解决问题手段。

3. 技术架构

3.1 效果评测系统

评测流程图 作为效果优化过程的源头，为了满足各个业务效果评测效果的需求，对各个业务方离线日志中的召回、排序结果回放，还原原始请求等场景。

通过引入 NLU 解析信息以及离线用户画像偏好信息作为评测参考，将问题归类以便 PM 或 RD 在效果优化时及时发现问题所在。

3.2 预测系统

预测系统可以对将要上线的模型，策略规则，置顶房源等通过标准化，流程化的分析，做出准备的预测，以达到预测效果的作用。未来我们将更多的人力，打造预测系统，预测系统将对搜索效果优化，起到对新实验的影响面预测作用。对后续的模型上线，排序规则优化，提供预上线分析，降低直接上线带来的一系列风险。

3.3 人工干预系统

人工干预可对搜索的召回、粗排、精排、置顶、意图识别模块进行干预，以达到产品需求的快速响应，从而为产品优化预留出时间，以及对产品做优化。目前，人工干预已经成了正循环，对 C 端提出的需求进行快速干预。

在干预 case 同时，并不是就此结束，产品经理还会对 case 进行分类，在后续持续迭代优化中，具有指导性的建议。从而达到人工干预对整个搜索效果的赋能。

3.4 AB 流量实验系统

AB 实验 2000 年由 Google 工程师最早提出并应用至产品迭代。发展到现在，AB 实验早已在整个产品迭代周期中成为至关重要的一环，不断指导着产品迭代的同时也成为提升商机转化率的显式抓手。

作为数据驱动方法论的一面镜子，AB 实验通过数据来描述客观事实、用统计分析方法分析规律，为产品决策提供科学证据，提升用户体验。与经典的实验场景类似，我们设计的 AB 实验系统也基于 流量大、样本多、完全独立、随机分流 的特点，适配于搜索等效果优化类业务场景。宏观角度讲，我们的 AB 实验系统共有以下 4 部分组成。

  • 配置模块。RD 通过配置模块完成业务选择、配置策略上传功能，并下发至固定服务，做到固定服务实时生效配置策略。
  • 流量实验模块。选择服务，支持对实验层、实验分组及二者策略、流量的自定义配置、实验指标自定义配置。
  • 实验下发模块。实验配置实时下发至网关完成实验分流。业务方通过网关拉取实验策略信息。
  • 实验效果回收。支持实验效果 T-1 回收及存储。减轻实验分析、实验结果存储、实验效果对比成本。

AB 流量实验使用概览图 通过以上对比实验流程，即可完成实验组与对照组显著性差异分析。重塑 AB 实验时复杂的操作流程可能导致的线上风险。

3.5 标注系统

标注作为监督类学习中数据产出的唯一途径，一方面，往往因为标注规则千变万化导致标注成本突增。且数据质量提升不明显也成为算法性能提升的瓶颈。另一方面，将熟数据统一管理保证了数据安全，防止数据流失。系统架构图如下所示。

标注系统架构图

设计过程中，我们围绕“通用、提效、提质、管理“的原则、“自顶向下“的设计来思路设计，防止因为标注方式和规则的千变万化而过于定制，着重强调了任务的适配程度，做到文本、图片、语音类型数据的标注的高度适配及数据管理。除此之外，自定义标签提高了标注系统的灵活性，交叉验证保证数据质量。

4.总结展望

现阶段，运营平台经过了 0 到 1 的过程。下个阶段，平台对�