干货业界实时数据体系架构 2022年3月15日 刘大龙@唯品会 导读: 随着互联网的发展进入下半场,数据的时效性对企业的精细化运营越来越重要, 商场如战场,在每天产生的海量数据中,如何能实时有效的挖掘出有价值的信息, 对企业的决策运营策略调整有很大帮助。此外,随着 5G 技术的成熟、广泛应用, 对于工业互联网、物联网等数据时效性要求非常高的行…… 阅读全文
在有赞实时计算的实践 2022年3月15日 转载自: 有赞技术团队博客 一、前言 这篇主要由五个部分来组成: 首先是有赞的实时平台架构。 其次是在调研阶段我们为什么选择了 Flink。在这个部分,主要是 Flink 与 Spark 的 structured streaming 的一些对比和选择 Flink 的原因。 第三个就是比较重点的内容,Flink 在有赞的实践。这其中包括了我们在使用 Flink 的过程中碰到的一些坑,…… 阅读全文
在京东的实践与优化 2022年3月15日 来源: 付海涛@京东 Flink 中文社区 摘要: 本文整理自京东高级技术专家付海涛在 Flink Forward Asia 2020 分享的议题《Apache Flink 在京东的实践与优化》 一、业务演进和规模 业务演进 京东在 2014 年基于 storm 打造了第一代流式处理平台,可以较好的满足业务对于数据处理实时性的要求。不过它有一些局限性,对于那些数据量特别大,但是…… 阅读全文
在爱奇艺广告业务的实践 2022年3月15日 **简介:**5 月 22 日北京站 Flink Meetup 分享的议题。 本文整理自爱奇艺技术经理韩红根在 5 月 22 日北京站 Flink Meetup 分享的议题《Flink 在爱奇艺广告业务的实践》,内容包括: 业务场景 业务实践 Flink 使用过程中的问题及解决 未来规划 一、业务场景 实时数据在广告业务的使用场景主要可以分为四个方面: 数据大屏: 包括曝光…… 阅读全文
原理流程以及常见失败原因分析 2022年3月15日 作者:沈磊 团队:大数据 前言 目前有赞实时任务主要以 Flink 为主,为了保证实时任务的容错恢复以及停止重启时的状态恢复,几乎所有的实时任务都会开启 Checkpoint 或者触发 Savepoint 进行状态保存。由于 Savepoint 底层原理的实现和 Checkpoint 几乎一致,本文结合 Flink 1.9 版本,重点讲述 Flink Checkpoint 原理流程以及常见原因分析,让用户能够更好的理解 Flink Chec…… 阅读全文
在的多元化探索与实践 2022年3月15日 摘要: 本文由 bilibili 大数据实时平台负责人郑志升分享,本次分享核心讲解万亿级传输分发架构的落地,以及 AI 领域如何基于 Flink 打造一套完善的预处理实时 Pipeline。本次分享主要围绕以下四个方面: B 站实时的前世与今生 Flink On Yarn 的增量化管道的方案 Flink 和 AI 方向的一些工程实践 未来的发展与思考 一、B 站实时的前…… 阅读全文
如何支持特征工程在线学习在线预测等场景 2022年3月15日 分享嘉宾:陈戊超、高赟 阿里 技术专家 文章整理:有感情的打字机 内容来源:Flink Forward ASIA 出品平台:DataFun 导读:Flink 是一个分布式 计算引擎,支持 批流一体 的数据处理。在实际生产中的人工智能使用场景中,Flink 在包括 特征工程,在线学习,在线预测 等方面都有一些独特优势,为了更好的…… 阅读全文
基于的爱奇艺实时计算平台建设实践 2022年3月15日 分享嘉宾:梁建煌 爱奇艺 编辑整理:张宇轩 内容来源:Flink Forward Asia 导读: 随着大数据的快速发展,行业大数据服务越来越重要。同时,对大数据实时计算的要求也越来越高。今天会和大家分享下爱奇艺基于Apache Flink的实时计算平台建设实践。 今天的介绍会围绕下面三点展开: Flink的现状与改…… 阅读全文
基于构建流批一体的数据集成 2022年3月15日 摘要: 本文整理自云邪、雪尽在 Flink Forward Asia 2020 的分享,该分享以 4 个章节来详细介绍如何利用 Flink SQL 构建流批一体的 ETL 数据集成, 文章的主要内容如下: 数据仓库与数据集成 数据接入(E) 数据入仓/湖(L) 数据打宽(T) 数据仓库与数据集成 数据仓库是一个集成的(Integrated),面向主题的(Subjec…… 阅读全文
基于的严选实时数仓实践 2022年3月15日 分享嘉宾: 杨雄 网易严选 资深研发工程师 内容来源: DataFun Talk《基于Flink的严选实时数仓实践》 出品社区: DataFun 今天分享的内容主要分为四个部分,首先会介绍下严选实时数仓的背景、产生的一些问题。然后是针对这些背景和问题对实时数仓的整体设计和具体的实施方案,接着会介绍下在实时数仓的数据质量方…… 阅读全文