滴滴实时数仓在滴滴的实践和落地 2022年3月15日 桔妹导读: 随着滴滴业务的高速发展,业务对于数据时效性的需求越来越高,而伴随着实时技术的不断发展和成熟,滴滴也对实时建设做了大量的尝试和实践。本文主要以顺风车这个业务为引子,从引擎侧、平台侧和业务侧各个不同方面,来阐述滴滴所做的工作,分享在建设过程中的经验。 1. 实时数仓建设目的 随着互…… 阅读全文
大数据离线计算平台架构演进 2022年3月15日 1 前言 OPPO的大数据离线计算发展,经历了哪些阶段?在生产中遇到哪些经典的大数据问题?我们是怎么解决的,从中有哪些架构上的升级演进?未来的OPPO离线平台有哪些方向规划?今天会给大家一一揭秘。 2 OPPO大数据离线计算发展历史 2.1 大数据行业发展阶段 一家公司的技术发展,离不开整个行业的…… 阅读全文
滴滴数据仓库指标体系建设实践 2022年3月15日 桔妹导读: 指标体系是什么?如何使用OSM模型和AARRR模型搭建指标体系?如何统一流程、规范化、工具化管理指标体系?本文会对建设的方法论结合滴滴数据指标体系建设实践进行解答分析。 1. 什么是指标体系 ▍1.1 指标体系定义 指标体系是将零散单点的具有相互联系的指标,系统化的组织起来,通过单…… 阅读全文
贝壳找房一站式大数据开发平台实践 2022年3月15日 分享嘉宾:仰宗强 编辑整理:刘春龙 出品平台:DataFunTalk 导读: 本次分享嘉宾是来自贝壳大数据部门的仰宗强,详细介绍了针对贝壳的业务数据与需求的增长,逐步升级数据开发平台的探索实践过程,包括三次数据开发平台架构升级的细节。 本次主题分享,主要从下面4个方面进行介绍: 背景介绍 探索…… 阅读全文
贝壳找房面向技术的贝壳一站式大数据开发平台实践 2022年3月15日 仰宗强@贝壳找房 本文根据贝壳找房资深工程师仰宗强老师在2020年"面向AI技术的工程架构实践"大会上的演讲速记整理而成。 1 开场 大家下午好,很荣幸来到这跟大家一起分享贝壳一站式大数据开发平台的落地实践。今天的分享主要分为以下四个部分: 贝壳的数据业务背景。 数据开发…… 阅读全文
菜鸟网络实时数仓进阶之路 2022年3月15日 分享嘉宾:张庭 菜鸟 数据工程师 文章整理:comn 出品平台:DataFunTalk 导读: 供应链物流场景下的业务复杂度高,业务链路长,节点多,实体多,实时数仓建设难度高。菜鸟跨境进口业务场景更是如此,更复杂的场景带来更复杂的实体数据模型,对接的业务系统多导致ETL流程特别复杂,还有海量…… 阅读全文
汽车之家离线计算平台建设实践 2022年3月15日 分享嘉宾:陈天明 汽车之家 编辑整理:徐焱森 中经惠众 出品平台:DataFunTalk 导读: 本文主要介绍汽车之家离线计算平台的建设过程,如何应对集群大规模增长带来的性能和稳定性的挑战,如何解决多租户情况下集群面临的运维难题以及如何提升服务器资源利用率问题等问题。 01 汽车之家离线计算平台现…… 阅读全文
爱奇艺数仓平台建设实践 2022年3月15日 文章作者:i技术会 内容来源:爱奇艺技术产品团队 导读: 本文主要介绍如何通过数仓平台进行数据建模,从而构建统一、规范化、标准化的数据仓库体系,以及围绕核心数据仓库元数据中心建设数据图谱等方面的实践和心得,来解决实际场景中遇到的各种问题,学习数据仓库整体建设思想以及元数据应用服务搭建。…… 阅读全文
作业帮基于的数仓实践 2022年3月15日 1 背景 作业帮大数据团队主要负责建设公司级数仓,向公司各个重要产品线(拉新、教学、BI等)提供面向业务的数据信息,如到课时长、答题情况等。在过去半年多时间内,我们基于Apache Doris,构建了数仓实时查询系统。本文总结并分享下期间的工作内容,也欢迎大家一起讨论。 典型的数仓从逻辑…… 阅读全文
基于构建流批一体的数据集成 2022年3月15日 摘要: 本文整理自云邪、雪尽在 Flink Forward Asia 2020 的分享,该分享以 4 个章节来详细介绍如何利用 Flink SQL 构建流批一体的 ETL 数据集成, 文章的主要内容如下: 数据仓库与数据集成 数据接入(E) 数据入仓/湖(L) 数据打宽(T) 数据仓库与数据集成 数据仓库是一个集成的(Integrated),面向主题的(Subjec…… 阅读全文