https://index.zshipu.com/geek/tags/%E5%AE%9E%E6%97%B6%E8%AE%A1%E7%AE%97/ Recent content in 实时计算 on 知识铺的博客 Hugo -- gohugo.io zh-CN Tue, 15 Mar 2022 10:16:57 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%B9%B4%E7%BD%91%E6%98%93%E4%BA%91%E9%9F%B3%E4%B9%90%E5%AE%9E%E6%97%B6%E8%AE%A1%E7%AE%97%E5%B9%B3%E5%8F%B0%E5%8F%91%E5%B1%95%E5%92%8C%E6%8C%91%E6%88%98/ Tue, 15 Mar 2022 10:16:57 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%B9%B4%E7%BD%91%E6%98%93%E4%BA%91%E9%9F%B3%E4%B9%90%E5%AE%9E%E6%97%B6%E8%AE%A1%E7%AE%97%E5%B9%B3%E5%8F%B0%E5%8F%91%E5%B1%95%E5%92%8C%E6%8C%91%E6%88%98/ 以下文章来源于网易有数 ，作者大愚 摘要： 网易云音乐从 2018 年开始搭建实时计算平台，经过几年的发展已经渗透到云音乐的各个业务当中。本文是大愚老师的一篇实践分享，将从一个日常运维问题出发，带领大家了解云音乐实时计算平台的一些工作进展和未来规划。 网易云音乐实时数仓平台上线以后，经过一年半的发 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%AE%9E%E6%97%B6%E8%AE%A1%E7%AE%97%E5%BC%95%E6%93%8E%E5%9C%A8%E8%B4%9D%E5%A3%B3%E7%9A%84%E5%BA%94%E7%94%A8%E4%B8%8E%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 09:59:04 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%AE%9E%E6%97%B6%E8%AE%A1%E7%AE%97%E5%BC%95%E6%93%8E%E5%9C%A8%E8%B4%9D%E5%A3%B3%E7%9A%84%E5%BA%94%E7%94%A8%E4%B8%8E%E5%AE%9E%E8%B7%B5/ 导读：本次分享的主题为实时计算引擎在贝壳的应用与实践。主要内容包括： 背景介绍 流式计算平台 实时分析监控平台-FAST 后续规划 ——背景介绍—— 贝壳找房由链家网升级而来，是以技术驱动的品质居住服务平台，聚合和赋能全行业的优质服务者，打造开放的品质居住服务生态，致力于为两亿家庭提供包括二 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%80%9F%E5%8A%A9%E4%B8%8E%E6%89%93%E9%80%A0%E5%AE%9E%E6%97%B6%E6%B6%88%E6%81%AF%E5%A4%84%E7%90%86%E7%B3%BB%E7%BB%9F/ Tue, 15 Mar 2022 09:27:49 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%80%9F%E5%8A%A9%E4%B8%8E%E6%89%93%E9%80%A0%E5%AE%9E%E6%97%B6%E6%B6%88%E6%81%AF%E5%A4%84%E7%90%86%E7%B3%BB%E7%BB%9F/ 陈航@BIGO Flink 中文社区 摘要： 本文整理自 BIGO Staff Engineer 陈航在 Flink Forward Asia 2020 分享的议题《借助 Flink 与 Pulsar，BIGO 打造实时消息处理系统》。 一、关于 BIGO 借助于大数据和人工智能技术，BIGO 基于视频的服务和产品获得了广泛的欢迎，在 150 多个国家和地区获得了大量的用户。BIGO 主要有两款非常流行的产品， https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%88%B1%E5%A5%87%E8%89%BA%E5%A4%A7%E6%95%B0%E6%8D%AE%E7%94%9F%E6%80%81%E7%9A%84%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E5%BB%BA%E8%AE%BE/ Tue, 15 Mar 2022 09:20:51 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%88%B1%E5%A5%87%E8%89%BA%E5%A4%A7%E6%95%B0%E6%8D%AE%E7%94%9F%E6%80%81%E7%9A%84%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E5%BB%BA%E8%AE%BE/ 作者： 爱奇艺技术产品团队 数据作为互联网时代的基础生产资料，在各大公司企业拥有举足轻重的地位。数据的价值在互联网公司的体现，大致而言可以分成三类： 发掘数据中的信息来指导决策，如产品运营、用户增长相关的 BI 报表 依托数据优化用户体验和变现效率，如信息分发场景下的个性化推荐、效果广告等 基于 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%BF%AB%E6%89%8B%E5%9F%BA%E4%BA%8E%E7%9A%84%E5%AE%9E%E6%97%B6%E8%AE%A1%E7%AE%97%E6%8C%81%E7%BB%AD%E4%BC%98%E5%8C%96%E4%B8%8E%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 09:19:50 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%BF%AB%E6%89%8B%E5%9F%BA%E4%BA%8E%E7%9A%84%E5%AE%9E%E6%97%B6%E8%AE%A1%E7%AE%97%E6%8C%81%E7%BB%AD%E4%BC%98%E5%8C%96%E4%B8%8E%E5%AE%9E%E8%B7%B5/ 摘要： 本文由快手实时计算负责人董亭亭分享，主要介绍快手基于 Flink 的持续优化与实践的介绍。内容包括： Flink 稳定性持续优化 Flink 任务启动优化 Flink SQL 实践与优化 未来的工作 一、Flink 稳定性持续优化 第一部分是 Flink 稳定性的持续优化。该部分包括两个方面，第一个方面，主要介绍快手在 Flink Kafka Connector 方面做的一些高可用，是 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%85%BE%E8%AE%AF%E6%B8%B8%E6%88%8F%E5%AE%9E%E6%97%B6%E8%AE%A1%E7%AE%97%E5%BA%94%E7%94%A8%E5%B9%B3%E5%8F%B0%E5%BB%BA%E8%AE%BE%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 09:13:46 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%85%BE%E8%AE%AF%E6%B8%B8%E6%88%8F%E5%AE%9E%E6%97%B6%E8%AE%A1%E7%AE%97%E5%BA%94%E7%94%A8%E5%B9%B3%E5%8F%B0%E5%BB%BA%E8%AE%BE%E5%AE%9E%E8%B7%B5/ 作者： 许振文@腾讯游戏 Flink 中文社区 摘要： 本文由腾讯游戏增值服务部数据中心许振文分享，主要介绍腾讯游戏实时计算应用平台的建设实践。内容包括： PPT下载： https://flink-learning.org.cn/developers/flink-forward-asia-2020/ 建设背景 统一实时大数据开发 OneData 统一大数据接口服务 OneFun 数据服务微服务化 & ServiceMesh 管理 一、建设背景 首先介绍一下相关背景，很早之前我们就开始做游戏 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9C%A8%E4%BA%AC%E4%B8%9C%E7%9A%84%E5%AE%9E%E8%B7%B5%E4%B8%8E%E4%BC%98%E5%8C%96/ Tue, 15 Mar 2022 09:13:33 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9C%A8%E4%BA%AC%E4%B8%9C%E7%9A%84%E5%AE%9E%E8%B7%B5%E4%B8%8E%E4%BC%98%E5%8C%96/ 来源： 付海涛@京东 Flink 中文社区 摘要： 本文整理自京东高级技术专家付海涛在 Flink Forward Asia 2020 分享的议题《Apache Flink 在京东的实践与优化》 一、业务演进和规模 业务演进 京东在 2014 年基于 storm 打造了第一代流式处理平台，可以较好的满足业务对于数据处理实时性的要求。不过它有一些局限性，对于那些数据量特别大，但是 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9F%BA%E4%BA%8E%E7%9A%84%E7%88%B1%E5%A5%87%E8%89%BA%E5%AE%9E%E6%97%B6%E8%AE%A1%E7%AE%97%E5%B9%B3%E5%8F%B0%E5%BB%BA%E8%AE%BE%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 09:07:55 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9F%BA%E4%BA%8E%E7%9A%84%E7%88%B1%E5%A5%87%E8%89%BA%E5%AE%9E%E6%97%B6%E8%AE%A1%E7%AE%97%E5%B9%B3%E5%8F%B0%E5%BB%BA%E8%AE%BE%E5%AE%9E%E8%B7%B5/ 分享嘉宾：梁建煌 爱奇艺 编辑整理：张宇轩 内容来源：Flink Forward Asia 导读： 随着大数据的快速发展，行业大数据服务越来越重要。同时，对大数据实时计算的要求也越来越高。今天会和大家分享下爱奇艺基于Apache Flink的实时计算平台建设实践。 今天的介绍会围绕下面三点展开： Flink的现状与改 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%90%BA%E7%A8%8B%E5%AE%9E%E6%97%B6%E6%99%BA%E8%83%BD%E6%A3%80%E6%B5%8B%E5%B9%B3%E5%8F%B0%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 09:05:21 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%90%BA%E7%A8%8B%E5%AE%9E%E6%97%B6%E6%99%BA%E8%83%BD%E6%A3%80%E6%B5%8B%E5%B9%B3%E5%8F%B0%E5%AE%9E%E8%B7%B5/ 分享嘉宾：潘国庆@携程 文章整理：王钊 内容来源：Flink Forward 来源： DataFunTalk 导读： 将实时计算和深度学习相结合、可解决某种特定的业务场景。本次将分享基于tensorflow和flink构建携程的实时智能检测平台。 今天分享的主要内容分为四个部分： 1. Background 2. What is Prophet 3. AI and Real Time 4. Challenges and Future 每个公司都会有监控 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%85%BE%E8%AE%AF%E5%AE%9E%E6%97%B6%E8%AE%A1%E7%AE%97%E5%B9%B3%E5%8F%B0%E4%BC%98%E5%8C%96%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 09:04:42 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%85%BE%E8%AE%AF%E5%AE%9E%E6%97%B6%E8%AE%A1%E7%AE%97%E5%B9%B3%E5%8F%B0%E4%BC%98%E5%8C%96%E5%AE%9E%E8%B7%B5/ 分享：杜立 腾讯高级工程师 整理：戴季国 校对：苗文婷 来源：Flink中文社区 摘要： 本文由腾讯高级工程师杜立分享，主要介绍腾讯实时计算平台针对 Flink SQL 所做的优化，内容包括： Flink SQL 现状 窗口功能的扩展 回撤流的优化 未来的规划 01 背景及现状 1. 三种模式的分析 Flink 作业目前有三种创建方式：JAR 模式、画布模式 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%98%BF%E9%87%8C%E6%B5%81%E8%AE%A1%E7%AE%97%E5%BC%95%E6%93%8E%E6%95%B0%E6%8D%AE%E4%B8%80%E8%87%B4%E6%80%A7%E7%9A%84%E6%9C%AC%E8%B4%A8/ Tue, 15 Mar 2022 08:59:39 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%98%BF%E9%87%8C%E6%B5%81%E8%AE%A1%E7%AE%97%E5%BC%95%E6%93%8E%E6%95%B0%E6%8D%AE%E4%B8%80%E8%87%B4%E6%80%A7%E7%9A%84%E6%9C%AC%E8%B4%A8/ 作者 | 齐光 阿里云云栖号 微信号 yunqiinsight 流计算的应用与实践在大数据领域越来越常见，其重要性不言而喻，常见的流计算引擎有 Google DataFlow、Apache Flink，Apache Kafka Streams，Apache Spark Streaming 等。流计算系统中的数据一致性一般是用消息处理语义来定义的，如某引擎声称可以提供「恰 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%B1%BD%E8%BD%A6%E4%B9%8B%E5%AE%B6%E6%B9%96%E4%BB%93%E4%B8%80%E4%BD%93%E6%9E%B6%E6%9E%84%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 08:59:36 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%B1%BD%E8%BD%A6%E4%B9%8B%E5%AE%B6%E6%B9%96%E4%BB%93%E4%B8%80%E4%BD%93%E6%9E%B6%E6%9E%84%E5%AE%9E%E8%B7%B5/ 分享嘉宾：邸星星@汽车之家 编辑整理：DataFun、Flink中文社区 导读： 本文将介绍如何基于Apache Iceberg构建湖仓一体架构，将数据可见性提升至分钟级；从多维分析的角度来探讨引入Apache Iceberg带来的收益，以及未来还有哪些收益可以期待。 01 数据仓库架构升级的背 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%BD%91%E6%98%93%E4%B8%A5%E9%80%89%E5%AE%9E%E6%97%B6%E8%AE%A1%E7%AE%97%E5%B9%B3%E5%8F%B0%E5%BB%BA%E8%AE%BE%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 08:56:03 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%BD%91%E6%98%93%E4%B8%A5%E9%80%89%E5%AE%9E%E6%97%B6%E8%AE%A1%E7%AE%97%E5%B9%B3%E5%8F%B0%E5%BB%BA%E8%AE%BE%E5%AE%9E%E8%B7%B5/ 分享嘉宾：王杰瑞 (前)网易 资深服务端研发 编辑整理：宋灵城 出品平台：DataFunTalk 导读： 网易严选作为一家品牌电商，对数据实时驱动业务有较高要求。在严选，实时计算被广泛应用在实时数仓、风控、业务监控等场景中。本文将分享网易严选实时计算平台的建设思路和实践，并介绍平台后续的一些 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%B7%98%E7%B3%BB%E6%8A%80%E6%9C%AF%E5%88%86%E9%92%9F%E7%BA%A7%E5%9C%A8%E7%BA%BF%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E5%9C%A8%E6%89%8B%E6%B7%98%E4%BF%A1%E6%81%AF%E6%B5%81%E6%8E%92%E5%BA%8F%E6%A8%A1%E5%9E%8B%E4%B8%AD%E7%9A%84%E6%8E%A2%E7%B4%A2%E4%B8%8E%E5%AE%9E%E8%B7%B5/ Mon, 14 Mar 2022 23:24:25 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%B7%98%E7%B3%BB%E6%8A%80%E6%9C%AF%E5%88%86%E9%92%9F%E7%BA%A7%E5%9C%A8%E7%BA%BF%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E5%9C%A8%E6%89%8B%E6%B7%98%E4%BF%A1%E6%81%AF%E6%B5%81%E6%8E%92%E5%BA%8F%E6%A8%A1%E5%9E%8B%E4%B8%AD%E7%9A%84%E6%8E%A2%E7%B4%A2%E4%B8%8E%E5%AE%9E%E8%B7%B5/ 陈启伟、葛均锋 淘系技术 导读： 天下武功，无坚不摧，唯快不破。近些年，深度学习如玄铁重剑在推荐系统中无坚不摧，给搜索/推荐/广告等业务场景带来巨大的收益，而在线学习则如唯快不破的独孤九剑，也在推荐算法中以快制胜，创建巨大的业务价值。 前些年流行的FTRL等在线学习算法在深度学习中已不太 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%B4%9D%E5%A3%B3%E6%89%BE%E6%88%BF%E8%BF%90%E7%BB%B4%E4%BD%93%E7%B3%BB%E5%9C%A8%E8%B4%9D%E5%A3%B3%E7%9A%84%E5%AE%9E%E8%B7%B5/ Mon, 14 Mar 2022 21:00:04 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%B4%9D%E5%A3%B3%E6%89%BE%E6%88%BF%E8%BF%90%E7%BB%B4%E4%BD%93%E7%B3%BB%E5%9C%A8%E8%B4%9D%E5%A3%B3%E7%9A%84%E5%AE%9E%E8%B7%B5/ 来源： 何巨放 贝壳找房 稿 1. 背景 Flink作为新一代的实时计算引擎在贝壳越来越多的应用场景下被应用，比如实时指标、实时ETL、实时监控等。目前贝壳内部线上运行中Flink任务已经超过4K，日均处理数据量万亿级。如何提升大规模Flink任务的稳定性、资源利用率、运维效率是一个有挑战的问 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%BE%8E%E5%9B%A2%E5%A4%A7%E4%BD%9C%E4%B8%9A%E9%83%A8%E7%BD%B2%E4%B8%8E%E7%8A%B6%E6%80%81%E7%A8%B3%E5%AE%9A%E6%80%A7%E4%BC%98%E5%8C%96%E5%AE%9E%E8%B7%B5/ Mon, 14 Mar 2022 20:59:32 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%BE%8E%E5%9B%A2%E5%A4%A7%E4%BD%9C%E4%B8%9A%E9%83%A8%E7%BD%B2%E4%B8%8E%E7%8A%B6%E6%80%81%E7%A8%B3%E5%AE%9A%E6%80%A7%E4%BC%98%E5%8C%96%E5%AE%9E%E8%B7%B5/ 摘要 ：本篇内容整理自美团数据平台工程师冯斐、王非凡在 Flink Forward Asia 2021 生产实践专场的演讲。主要内容包括： 一、相关背景 美团 Flink 的应用场景覆盖了社区定义的三种场景： 应用比较多的是数据管道场景，比如数仓 ODS 层数据的实时接入，或跨数据源的实时数据同步； 比较典型的应用场景是数据分析，比如实时数仓的建设和 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%AE%9E%E6%97%B6%E6%95%B0%E6%8D%AE%E7%B3%BB%E7%BB%9F%E5%BC%B9%E6%80%A7%E4%BC%B8%E7%BC%A9%E5%AE%9E%E8%B7%B5/ Mon, 14 Mar 2022 17:53:39 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%AE%9E%E6%97%B6%E6%95%B0%E6%8D%AE%E7%B3%BB%E7%BB%9F%E5%BC%B9%E6%80%A7%E4%BC%B8%E7%BC%A9%E5%AE%9E%E8%B7%B5/ 作者 | 韩飞 1. 引言 随着大数据技术的不断发展，数据实时性的需求变得越来越迫切，这对实时数据处理的基础架构提出了更高的要求。如何应对实时数据的流量变化，特别是突发流量，成为实时数据处理架构不得不面对的挑战性问题。对于 FreeWheel 这样一家服务全美 90% 的主流电视媒体和运营商的视频广告投放和管理平台，对 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%B4%9D%E5%A3%B3%E5%9F%BA%E4%BA%8E%E7%9A%84%E5%AE%9E%E6%97%B6%E8%AE%A1%E7%AE%97%E6%BC%94%E8%BF%9B%E4%B9%8B%E8%B7%AF/ Mon, 14 Mar 2022 17:45:09 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%B4%9D%E5%A3%B3%E5%9F%BA%E4%BA%8E%E7%9A%84%E5%AE%9E%E6%97%B6%E8%AE%A1%E7%AE%97%E6%BC%94%E8%BF%9B%E4%B9%8B%E8%B7%AF/ 分享嘉宾： 刘力云@贝壳找房 内容来源： Flink中文社区 摘要： 贝壳找房大数据平台实时计算负责人刘力云带来的分享内容是贝壳找房的实时计算演进之路，内容如下： 发展历程 平台建设 实时数仓及其应用场景 事件驱动场景 未来规划 一、发展历程 首先是平台的发展历程。最早是因为业务方在实时计算方面有比较多 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%B5%81%E6%89%B9%E4%B8%80%E4%BD%93%E7%94%9F%E4%BA%A7%E5%BA%94%E7%94%A8%E5%AE%9E%E6%97%B6%E8%AE%A1%E7%AE%97%E5%B9%B3%E5%8F%B0%E5%BB%BA%E8%AE%BE%E5%AE%9E%E8%B7%B5/ Mon, 14 Mar 2022 17:25:15 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%B5%81%E6%89%B9%E4%B8%80%E4%BD%93%E7%94%9F%E4%BA%A7%E5%BA%94%E7%94%A8%E5%AE%9E%E6%97%B6%E8%AE%A1%E7%AE%97%E5%B9%B3%E5%8F%B0%E5%BB%BA%E8%AE%BE%E5%AE%9E%E8%B7%B5/ 来源： Flink 中文社区 摘要： 本文由 Bigo 计算平台负责人徐帅分享，主要介绍 Bigo 实时计算平台建设实践的介绍。内容包括： Bigo 实时计算平台的发展历程 特色与改进 业务场景 效率提升 总结展望 一、Bigo 实时计算平台的发展历程 今天主要跟大家分享 Bigo 实时计算平台的建设历程，我们在建设过程中解决的一些问题，以及所做的 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E4%BC%B4%E9%B1%BC%E5%9F%BA%E4%BA%8E%E6%9E%84%E5%BB%BA%E6%95%B0%E6%8D%AE%E9%9B%86%E6%88%90%E5%B9%B3%E5%8F%B0%E7%9A%84%E8%AE%BE%E8%AE%A1%E4%B8%8E%E5%AE%9E%E7%8E%B0/ Mon, 14 Mar 2022 16:40:37 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E4%BC%B4%E9%B1%BC%E5%9F%BA%E4%BA%8E%E6%9E%84%E5%BB%BA%E6%95%B0%E6%8D%AE%E9%9B%86%E6%88%90%E5%B9%B3%E5%8F%B0%E7%9A%84%E8%AE%BE%E8%AE%A1%E4%B8%8E%E5%AE%9E%E7%8E%B0/ A data warehouse is a subject-oriented, integrated, nonvolatile, and time-variant collection of data in support of management’s decisions. —— Bill Inmon 一、数据集成 VS 数据同步 「数据集成」往往和「数据同步」在概念上存在一定的混淆，为此我们对这二者进行了区分： 「数据集成」 特指面向数据仓库 ODS 层的数据同步过程； 「数据同步」 面向的是一般化的 Source 到 Sink 的数据传输过程。 二者的关系如 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%98%BF%E9%87%8C%E6%8A%80%E6%9C%AF%E5%8F%8C%E5%AE%9E%E6%97%B6%E7%89%A9%E6%B5%81%E8%AE%A2%E5%8D%95%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5/ Mon, 14 Mar 2022 16:40:36 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%98%BF%E9%87%8C%E6%8A%80%E6%9C%AF%E5%8F%8C%E5%AE%9E%E6%97%B6%E7%89%A9%E6%B5%81%E8%AE%A2%E5%8D%95%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5/ 随着双11的开启，物流业也迎来了年度大考。2021年双11期间，递四方作为物流仓储服务方，布局仓库和分拣点超40+个，50w+平米作业场地，单日订单峰值达千万级别，海量购物订单由递四方配送到家，消费者由尾款人秒变收货人。 一 业务介绍 递四方成立于2004年，创业在深圳，是国内最早的国 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%B1%BD%E8%BD%A6%E4%B9%8B%E5%AE%B6%E5%9F%BA%E4%BA%8E%E7%9A%84%E5%AE%9E%E6%97%B6%E8%AE%A1%E7%AE%97%E5%B9%B3%E5%8F%B0%E5%BB%BA%E8%AE%BE%E5%AE%9E%E8%B7%B5/ Mon, 14 Mar 2022 16:39:47 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%B1%BD%E8%BD%A6%E4%B9%8B%E5%AE%B6%E5%9F%BA%E4%BA%8E%E7%9A%84%E5%AE%9E%E6%97%B6%E8%AE%A1%E7%AE%97%E5%B9%B3%E5%8F%B0%E5%BB%BA%E8%AE%BE%E5%AE%9E%E8%B7%B5/ 作者： 邸星星 摘要：本文整理自汽车之家实时计算平台负责人邸星星在 Flink Forward Asia 2021 平台建设专场的演讲。主要内容包括： 一、应用场景 我们的应用场景与其他公司很类似，涵盖了实时指标统计、监控预警、实时数据处理、实时用户行为、实时入湖、实时数据传输这几个方面： 实施指标统计包括实时的流量分析、车展大屏