https://index.zshipu.com/geek/tags/%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93/ Recent content in 实时数仓 on 知识铺的博客 Hugo -- gohugo.io zh-CN Tue, 15 Mar 2022 11:39:23 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%BB%B4%E6%BB%B4%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E5%9C%A8%E6%BB%B4%E6%BB%B4%E7%9A%84%E5%AE%9E%E8%B7%B5%E5%92%8C%E8%90%BD%E5%9C%B0/ Tue, 15 Mar 2022 11:39:23 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%BB%B4%E6%BB%B4%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E5%9C%A8%E6%BB%B4%E6%BB%B4%E7%9A%84%E5%AE%9E%E8%B7%B5%E5%92%8C%E8%90%BD%E5%9C%B0/ 桔妹导读： 随着滴滴业务的高速发展，业务对于数据时效性的需求越来越高，而伴随着实时技术的不断发展和成熟，滴滴也对实时建设做了大量的尝试和实践。本文主要以顺风车这个业务为引子，从引擎侧、平台侧和业务侧各个不同方面，来阐述滴滴所做的工作，分享在建设过程中的经验。 1. 实时数仓建设目的 随着互 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%8F%9C%E9%B8%9F%E7%BD%91%E7%BB%9C%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E8%BF%9B%E9%98%B6%E4%B9%8B%E8%B7%AF/ Tue, 15 Mar 2022 09:31:30 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%8F%9C%E9%B8%9F%E7%BD%91%E7%BB%9C%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E8%BF%9B%E9%98%B6%E4%B9%8B%E8%B7%AF/ 分享嘉宾：张庭 菜鸟 数据工程师 文章整理：comn 出品平台：DataFunTalk 导读： 供应链物流场景下的业务复杂度高，业务链路长，节点多，实体多，实时数仓建设难度高。菜鸟跨境进口业务场景更是如此，更复杂的场景带来更复杂的实体数据模型，对接的业务系统多导致ETL流程特别复杂，还有海量 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%BF%AB%E6%89%8B%E5%9F%BA%E4%BA%8E%E6%9E%84%E5%BB%BA%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E5%9C%BA%E6%99%AF%E5%8C%96%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 09:30:50 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%BF%AB%E6%89%8B%E5%9F%BA%E4%BA%8E%E6%9E%84%E5%BB%BA%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E5%9C%BA%E6%99%AF%E5%8C%96%E5%AE%9E%E8%B7%B5/ 李天朔@快手 Flink 中文社区 摘要：本文整理自快手数据技术专家李天朔在 5 月 22 日北京站 Flink Meetup 分享的议题《快手基于 Flink 构建实时数仓场景化实践》 一、快手实时计算场景 快手业务中的实时计算场景主要分为四块： 公司级别的核心数据： 包括公司经营大盘，实时核心日报，以及移动版数据。相当于团队会有公司的大盘指标 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E4%BB%8E%E9%98%BF%E9%87%8C%E6%A0%B8%E5%BF%83%E5%9C%BA%E6%99%AF%E7%9C%8B%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E7%9A%84%E5%8F%91%E5%B1%95%E8%B6%8B%E5%8A%BF/ Tue, 15 Mar 2022 09:25:00 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E4%BB%8E%E9%98%BF%E9%87%8C%E6%A0%B8%E5%BF%83%E5%9C%BA%E6%99%AF%E7%9C%8B%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E7%9A%84%E5%8F%91%E5%B1%95%E8%B6%8B%E5%8A%BF/ 作者：果贝，阿里云资深技术专家 ，实时数仓Hologres负责人 2022年1月7日，阿里云实时数仓Hologres举行了年度发布会，在发布会上，来自阿里的资深技术专家从阿里的核心场景出发，为大家解读了实时数仓的新发展趋势“在线化、敏捷化、一站式”。通过本文，我们将会深入解读实时数仓 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9C%A8%E7%88%B1%E5%A5%87%E8%89%BA%E5%B9%BF%E5%91%8A%E4%B8%9A%E5%8A%A1%E7%9A%84%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 09:13:23 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9C%A8%E7%88%B1%E5%A5%87%E8%89%BA%E5%B9%BF%E5%91%8A%E4%B8%9A%E5%8A%A1%E7%9A%84%E5%AE%9E%E8%B7%B5/ **简介：**5 月 22 日北京站 Flink Meetup 分享的议题。 本文整理自爱奇艺技术经理韩红根在 5 月 22 日北京站 Flink Meetup 分享的议题《Flink 在爱奇艺广告业务的实践》，内容包括： 业务场景 业务实践 Flink 使用过程中的问题及解决 未来规划 一、业务场景 实时数据在广告业务的使用场景主要可以分为四个方面： 数据大屏： 包括曝光 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%90%8C%E5%9F%8E%E5%9F%BA%E4%BA%8E%E6%9E%84%E5%BB%BA%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 09:03:21 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%90%8C%E5%9F%8E%E5%9F%BA%E4%BA%8E%E6%9E%84%E5%BB%BA%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E5%AE%9E%E8%B7%B5/ 导读 随着公司用户增长业务快速发展，陆续孵化出 部落、同镇、C 端会员、游戏等非常多的业务板块。与此同时产品及运营对实时数据需求逐渐增多，帮助他们更快的做出决策，更好的进行产品迭代，实时数仓的建设变得越发重要起来。本文主要介绍用户增长业务基于 Flink 构建实时数仓的实践之路。 实时数仓1.0介绍 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%8F%9C%E9%B8%9F%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E6%8A%80%E6%9C%AF%E6%9E%B6%E6%9E%84%E6%BC%94%E8%BF%9B/ Tue, 15 Mar 2022 09:02:34 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%8F%9C%E9%B8%9F%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E6%8A%80%E6%9C%AF%E6%9E%B6%E6%9E%84%E6%BC%94%E8%BF%9B/ 分享嘉宾：贾元乔 菜鸟 高级数据技术专家 编辑整理：夏飞飞 内容来源：Flink Forward ASIA 出品平台：DataFunTalk 导读： 在开源盛世的今天，实时数仓的建设已经有了较为成熟的方案，技术选型上也都各有优劣。菜鸟作为物流供应链的主力军，时效要求已经成为了核心竞争力，离线数仓已不能满足发展的需要 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%BD%91%E6%98%93%E4%BA%91%E9%9F%B3%E4%B9%90%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E8%BF%9B%E9%98%B6%E4%B9%8B%E8%B7%AF/ Tue, 15 Mar 2022 09:02:32 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%BD%91%E6%98%93%E4%BA%91%E9%9F%B3%E4%B9%90%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E8%BF%9B%E9%98%B6%E4%B9%8B%E8%B7%AF/ 导读：本篇文章是[ 2021年网易云音乐实时计算平台发展和挑战]的姊妹篇，由网易云音乐数据平台开发专家大愚分享，为大家介绍云音乐实时数仓技术改造以及未来的一些规划。 云音乐从2018年开始搭建实时计算平台，经过两年的发展实时计算已经渗透到云音乐的各个业务当中： 运营需要实时的统计报表做 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%97%B2%E9%B1%BC%E5%A4%A7%E8%A7%84%E6%A8%A1%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E6%90%AD%E5%BB%BA%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 09:02:31 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%97%B2%E9%B1%BC%E5%A4%A7%E8%A7%84%E6%A8%A1%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E6%90%AD%E5%BB%BA%E5%AE%9E%E8%B7%B5/ 作者 | 闲鱼技术 - 雨成 文章来源 | 闲鱼技术团队 1.现状 闲鱼作为一款闲置交易APP，在二手交易市场中是当之无愧的佼佼者。闲鱼从2014年诞生到现在七整年间持续增长，在这高速增长的背后带来的是每天近百亿的曝光点击浏览等数据，在这些数据规模如此庞大的背后也会带来诸多关于实时性的问题： 用户反 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%85%BE%E8%AE%AF%E5%85%A8%E5%9C%BA%E6%99%AF%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E5%BB%BA%E8%AE%BE%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 09:02:28 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%85%BE%E8%AE%AF%E5%85%A8%E5%9C%BA%E6%99%AF%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E5%BB%BA%E8%AE%BE%E5%AE%9E%E8%B7%B5/ 分享嘉宾：苏舒 腾讯 高级工程师 编辑整理：路培杰 内容来源：Flink中文社区 导读： Apache Flink 是目前大数据领域非常流行的流批统一的计算引擎，数据湖是顺应云时代发展潮流的新型技术架构，以 Iceberg、Hudi、Delta 为代表的解决方案应运而生，Iceberg 目前支持 Flink 通过 DataStream API /Table API 将数据写入 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%BE%AE%E4%BF%A1%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E7%9A%84%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 09:02:27 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%BE%AE%E4%BF%A1%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E7%9A%84%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5/ 作者：微信WeOLAP团队&腾讯云数据仓库 Clickhouse 团队 微信作为一款国民级应用，已经覆盖了社交、支付、出行等人们生活的方方面面。海量多样化的业务形态，对数据分析提出了新的挑战。为了满足业务数据分析的需求，微信 WeOLAP 团队联手腾讯云，共建千台规模、数据 PB 级、批流一体的 ClickHouse 数据仓库，实现了 10 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%B7%A5%E5%95%86%E9%93%B6%E8%A1%8C%E5%AE%9E%E6%97%B6%E5%A4%A7%E6%95%B0%E6%8D%AE%E5%B9%B3%E5%8F%B0%E5%BB%BA%E8%AE%BE%E5%8E%86%E7%A8%8B%E5%8F%8A%E5%B1%95%E6%9C%9B/ Tue, 15 Mar 2022 09:00:43 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%B7%A5%E5%95%86%E9%93%B6%E8%A1%8C%E5%AE%9E%E6%97%B6%E5%A4%A7%E6%95%B0%E6%8D%AE%E5%B9%B3%E5%8F%B0%E5%BB%BA%E8%AE%BE%E5%8E%86%E7%A8%8B%E5%8F%8A%E5%B1%95%E6%9C%9B/ 袁一@工商银行 摘要： 本文整理自中国工商银行大数据平台负责人袁一在 Flink Forward Asia 2021 的分享 一、工行实时大数据平台建设历程 工商银行从 2002 年开始建设数据集市，当时主要使用 Oracle 类单机版的关系型数据库。随着数据量不断增加，开始引入 TD、ED 等国外高端一体机。2014 年工行正式基于 Hadoop 技术建设了大数据平台， https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%96%B0%E4%B8%9C%E6%96%B9%E5%9C%A8%E7%BA%BF%E6%95%99%E8%82%B2%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E7%9A%84%E8%90%BD%E5%9C%B0%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 08:58:49 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%96%B0%E4%B8%9C%E6%96%B9%E5%9C%A8%E7%BA%BF%E6%95%99%E8%82%B2%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E7%9A%84%E8%90%BD%E5%9C%B0%E5%AE%9E%E8%B7%B5/ 以下文章来源于ApacheDoris ，作者ApacheDoris 背景介绍 在传统数据仓库方面，通常以 T+1 离线批量计算为主，按照数仓建模方式，把要处理的业务按照主题域划分，构建各种数据模型，来满足公司经营分析，财务分析等各种公司管理层的数据需求。 然而，随着在线教育快速发展市场竞争非常激 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%98%BF%E9%87%8C%E5%B7%B4%E5%B7%B4%E7%94%B5%E5%95%86%E6%90%9C%E7%B4%A2%E6%8E%A8%E8%8D%90%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E6%BC%94%E8%BF%9B%E4%B9%8B%E8%B7%AF/ Tue, 15 Mar 2022 08:54:03 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%98%BF%E9%87%8C%E5%B7%B4%E5%B7%B4%E7%94%B5%E5%95%86%E6%90%9C%E7%B4%A2%E6%8E%A8%E8%8D%90%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E6%BC%94%E8%BF%9B%E4%B9%8B%E8%B7%AF/ 分享嘉宾：张照亮 阿里巴巴 高级技术专家 编辑整理：郑银秋 出品平台：DataFunTalk 导读： 今天分享的内容是阿里搜索推荐数据平台研发团队在实时数仓的一些探索，围绕着团队在数仓上基于Flink + Hologres的演进过程及最佳实践。 01 业务背景 阿里巴巴电商搜索推荐实时数据仓库承载了阿里 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%B1%A4%E6%A5%9A%E7%86%99%E7%BE%8E%E5%9B%A2%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E6%9E%B6%E6%9E%84%E6%BC%94%E8%BF%9B%E4%B8%8E%E5%BB%BA%E8%AE%BE%E5%AE%9E%E8%B7%B5/ Mon, 14 Mar 2022 20:59:44 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%B1%A4%E6%A5%9A%E7%86%99%E7%BE%8E%E5%9B%A2%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E6%9E%B6%E6%9E%84%E6%BC%94%E8%BF%9B%E4%B8%8E%E5%BB%BA%E8%AE%BE%E5%AE%9E%E8%B7%B5/ 分享嘉宾：汤楚熙 美团 编辑整理：李瑶 DataFun 出品平台：DataFunTalk 导读： 大家好，我叫汤楚熙，来自美团数据平台中心的计算平台团队，当前主要工作内容是实时数仓平台的研发。今天和大家分享一下实时数据在美团的典型应用场景，实时数仓建设中的挑战和解决方案，包括一些关键的设计细节。主要介绍 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%BE%8E%E5%9B%A2%E5%A4%96%E5%8D%96%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E5%BB%BA%E8%AE%BE%E5%AE%9E%E8%B7%B5/ Mon, 14 Mar 2022 18:32:50 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%BE%8E%E5%9B%A2%E5%A4%96%E5%8D%96%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E5%BB%BA%E8%AE%BE%E5%AE%9E%E8%B7%B5/ 文章作者：朱良 美团外卖 技术专家 编辑整理：Comn 出品平台：DataFunTalk 导读： 本文主要介绍一种通用的实时数仓构建的方法与实践。实时数仓以端到端低延迟、SQL标准化、快速响应变化、数据统一为目标。在实践中，我们总结的最佳实践是：一个通用的实时生产平台 + 一个通用交互式实时分析