https://index.zshipu.com/geek/tags/Flink/ Recent content in Flink on 知识铺的博客 Hugo -- gohugo.io zh-CN Sat, 02 Dec 2023 09:42:05 +0800 https://index.zshipu.com/geek/post/bi/flink/2077-%E7%AC%AC42%E8%AE%B2Flink-%E9%9D%A2%E8%AF%95-%E6%96%B9%E6%A1%88%E8%AE%BE%E8%AE%A1%E7%AF%87/ Sat, 02 Dec 2023 09:42:05 +0800 https://index.zshipu.com/geek/post/bi/flink/2077-%E7%AC%AC42%E8%AE%B2Flink-%E9%9D%A2%E8%AF%95-%E6%96%B9%E6%A1%88%E8%AE%BE%E8%AE%A1%E7%AF%87/ Flink 的方案设计面试题目在面试中，是面试官了解我们项目的最直接的问题，它通常体现在面试者回答自己的项目整体是如何设计的？Flink 在你的项目中起到什么作用？有没有在应用过程中对 Flink 有一些定制开发等。 如何介绍自己的项目，为什么技术选型 Flink 也代表我们对于 Flink 框架的了解程度，我们本课时将介绍 Flink 典 https://index.zshipu.com/geek/post/bi/flink/2076-%E7%AC%AC41%E8%AE%B2Flink-%E9%9D%A2%E8%AF%95-%E6%BA%90%E7%A0%81%E7%AF%87/ Sat, 02 Dec 2023 09:41:05 +0800 https://index.zshipu.com/geek/post/bi/flink/2076-%E7%AC%AC41%E8%AE%B2Flink-%E9%9D%A2%E8%AF%95-%E6%BA%90%E7%A0%81%E7%AF%87/ Flink 的源码篇包含了 Flink 的核心代码实现、Job 提交流程、数据交换、分布式快照机制、Flink SQL 的原理等考察点。你应该记得，我们在前面近 40个课时中几乎每一课时都有一定的篇幅是源码阅读，源码部分的考察是面试时十分重要的一关，如果你对 Flink 的源码有一定的研究而不仅仅停留在使用阶段，那么你的面试 https://index.zshipu.com/geek/post/bi/flink/2075-%E7%AC%AC40%E8%AE%B2Flink-%E9%9D%A2%E8%AF%95-%E8%BF%9B%E9%98%B6%E7%AF%87/ Sat, 02 Dec 2023 09:40:05 +0800 https://index.zshipu.com/geek/post/bi/flink/2075-%E7%AC%AC40%E8%AE%B2Flink-%E9%9D%A2%E8%AF%95-%E8%BF%9B%E9%98%B6%E7%AF%87/ Flink 面试进阶篇主要包含了 Flink 中的数据传输、容错机制、序列化、数据热点、反压等实际生产环境中遇到的问题等考察点。这一阶段主要考察我们对 Flink 掌握的深度，也是给面试官留下好印象的关键环节。 面试题 1：请谈谈你对 Flink Table & SQL 的了解情况？以及 TableEnvironment 这个类有什么样的作用？ 这道题考察的是对 Flink Table & SQL 的掌握情况， https://index.zshipu.com/geek/post/bi/flink/2074-%E7%AC%AC39%E8%AE%B2Flink-%E9%9D%A2%E8%AF%95-%E5%9F%BA%E7%A1%80%E7%AF%87/ Sat, 02 Dec 2023 09:39:05 +0800 https://index.zshipu.com/geek/post/bi/flink/2074-%E7%AC%AC39%E8%AE%B2Flink-%E9%9D%A2%E8%AF%95-%E5%9F%BA%E7%A1%80%E7%AF%87/ 到目前为止，关于 Flink 的学习我们就告一段落了，接下来我们将进入最后一个面试模块的学习。在当前大背景下，面试这一关是求职者必须要面对的，也能从侧面考察对 Flink 的掌握情况，最后一模块将结合部分实际面试中出现的问题，进行详细分析，帮助大家顺利拿到 Offer。 最后一个面试模块分为了 4 个课时： Flink 面 https://index.zshipu.com/geek/post/bi/flink/2073-%E7%AC%AC38%E8%AE%B2Flink-%E8%B0%83%E7%94%A8-CEP-%E5%AE%9E%E7%8E%B0%E6%8A%A5%E8%AD%A6%E5%8A%9F%E8%83%BD/ Sat, 02 Dec 2023 09:38:05 +0800 https://index.zshipu.com/geek/post/bi/flink/2073-%E7%AC%AC38%E8%AE%B2Flink-%E8%B0%83%E7%94%A8-CEP-%E5%AE%9E%E7%8E%B0%E6%8A%A5%E8%AD%A6%E5%8A%9F%E8%83%BD/ 在上一课时中，我们详细讲解了 Flink CEP 中 Pattern 的分类，需要根据实际生产环境来选择单个模式、组合模式或者模式组。 在前面的课程中我们提到的三种典型场景下，分别根据业务需要实现了 Pattern 的定义，也可以根据自定义的 Pattern 检测到异常事件。那么接下来就需要根据检测到的异常事件发送告警，这一课将从这三种场景入手， https://index.zshipu.com/geek/post/bi/flink/2072-%E7%AC%AC37%E8%AE%B2%E8%87%AA%E5%AE%9A%E4%B9%89-Pattern-%E5%92%8C%E6%8A%A5%E8%AD%A6%E8%A7%84%E5%88%99/ Sat, 02 Dec 2023 09:37:05 +0800 https://index.zshipu.com/geek/post/bi/flink/2072-%E7%AC%AC37%E8%AE%B2%E8%87%AA%E5%AE%9A%E4%B9%89-Pattern-%E5%92%8C%E6%8A%A5%E8%AD%A6%E8%A7%84%E5%88%99/ 在上一课时提过，PatternStream 是 Flink CEP 对模式匹配后流的抽象和定义，它把 DataStream 和 Pattern 组合到一起，并且基于 PatternStream 提供了一系列的方法，比如 select、process 等。 Flink CEP 的核心在于模式匹配，对于不同模式匹配特性的支持，往往决定相应的 CEP 框架是否能够得到广泛应用。那么 Flink CEP 对模式提供了哪 https://index.zshipu.com/geek/post/bi/flink/2071-%E7%AC%AC36%E8%AE%B2%E8%87%AA%E5%AE%9A%E4%B9%89%E6%B6%88%E6%81%AF%E4%BA%8B%E4%BB%B6/ Sat, 02 Dec 2023 09:36:05 +0800 https://index.zshipu.com/geek/post/bi/flink/2071-%E7%AC%AC36%E8%AE%B2%E8%87%AA%E5%AE%9A%E4%B9%89%E6%B6%88%E6%81%AF%E4%BA%8B%E4%BB%B6/ 我们在上一课时中讲了 CEP 的基本原理并且用官网的案例介绍了 CEP 的简单应用。在 Flink CEP 中存在多个比较晦涩的概念，如果你对于这些概念理解有困难，我们可以把：创建系列 Pattern，然后利用 NFACompiler 将 Pattern 进行拆分并且创建出 NFA，NFA 包含了 Pattern 中的各个状态和各个状态间转换的表达式。这整个过程我们可以把 Flink https://index.zshipu.com/geek/post/bi/flink/2070-%E7%AC%AC35%E8%AE%B2%E9%A1%B9%E7%9B%AE%E8%83%8C%E6%99%AF%E5%92%8C-Flink-CEP-%E7%AE%80%E4%BB%8B/ Sat, 02 Dec 2023 09:35:05 +0800 https://index.zshipu.com/geek/post/bi/flink/2070-%E7%AC%AC35%E8%AE%B2%E9%A1%B9%E7%9B%AE%E8%83%8C%E6%99%AF%E5%92%8C-Flink-CEP-%E7%AE%80%E4%BB%8B/ 从这一课时开始我们将进入“Flink CEP 实时预警系统”的学习，本课时先介绍项目的背景、架构设计。 背景 我们在第 11 课时“Flink CEP 复杂事件处理”已经介绍了 Flink CEP 的原理，它是 Flink 提供的复杂事件处理库，也是 Flink 提供的一个非常亮眼的功能，当然更是 Flink 中最难以理解的部分之一。 Complex Event Processing https://index.zshipu.com/geek/post/bi/flink/2069-%E7%AC%AC34%E8%AE%B2Flink-%E5%92%8C-Redi-%E6%95%B4%E5%90%88%E4%BB%A5%E5%8F%8A-Redi-Sink-%E5%AE%9E%E7%8E%B0/ Sat, 02 Dec 2023 09:34:05 +0800 https://index.zshipu.com/geek/post/bi/flink/2069-%E7%AC%AC34%E8%AE%B2Flink-%E5%92%8C-Redi-%E6%95%B4%E5%90%88%E4%BB%A5%E5%8F%8A-Redi-Sink-%E5%AE%9E%E7%8E%B0/ 上一课时我们使用了 3 种方法进行了 PV 和 UV 的计算，分别是全窗口内存统计、使用分组和过期数据剔除、使用 BitMap / 布隆过滤器。到此为止我们已经讲了从数据清洗到水印、窗口设计，PV 和 UV 的计算，接下来需要把结果写入不同的目标库供前端查询使用。 下面我们分别讲解 Flink 和 Redis/MySQL/HBase 是如何整合实现 Flink Sink 的。 Flink Redis Sink 我们在 https://index.zshipu.com/geek/post/bi/flink/2068-%E7%AC%AC33%E8%AE%B2Flink-%E8%AE%A1%E7%AE%97-PVUV-%E4%BB%A3%E7%A0%81%E5%AE%9E%E7%8E%B0/ Sat, 02 Dec 2023 09:33:05 +0800 https://index.zshipu.com/geek/post/bi/flink/2068-%E7%AC%AC33%E8%AE%B2Flink-%E8%AE%A1%E7%AE%97-PVUV-%E4%BB%A3%E7%A0%81%E5%AE%9E%E7%8E%B0/ 上一课时我们学习了 Flink 消费 Kafka 数据计算 PV 和 UV 的水印和窗口设计，并且定义了窗口计算的触发器，完成了计算 PV 和 UV 前的所有准备工作。 接下来就需要计算 PV 和 UV 了。在当前业务场景下，根据 userId 进行统计，PV 需要对 userId 进行统计，而 UV 则需要对 userId 进行去重统计。 下面我们使用不同的方法来统计 PV 和 UV。 单窗口内存统 https://index.zshipu.com/geek/post/bi/flink/2067-%E7%AC%AC32%E8%AE%B2Flink-%E5%92%8C-Kafka-%E6%95%B4%E5%90%88%E6%97%B6%E9%97%B4%E7%AA%97%E5%8F%A3%E8%AE%BE%E8%AE%A1/ Sat, 02 Dec 2023 09:32:05 +0800 https://index.zshipu.com/geek/post/bi/flink/2067-%E7%AC%AC32%E8%AE%B2Flink-%E5%92%8C-Kafka-%E6%95%B4%E5%90%88%E6%97%B6%E9%97%B4%E7%AA%97%E5%8F%A3%E8%AE%BE%E8%AE%A1/ 我们在第 31 课时中讲过，在计算 PV 和 UV 等指标前，用 Flink 将原始数据进行了清洗，清洗完毕的数据被发送到另外的 Kafka Topic 中，接下来我们只需要消费指定 Topic 的数据，然后就可以进行指标计算了。 Flink 消费 Kafka 数据反序列化 上一课时定义了用户的行为信息的 Java 对象，我们现在需要消费新的 Kafka Topic 信息，并且把序列化的消息转化为用 https://index.zshipu.com/geek/post/bi/flink/2066-%E7%AC%AC31%E8%AE%B2Kafka-%E6%A8%A1%E6%8B%9F%E6%95%B0%E6%8D%AE%E7%94%9F%E6%88%90%E5%92%8C%E5%8F%91%E9%80%81/ Sat, 02 Dec 2023 09:31:05 +0800 https://index.zshipu.com/geek/post/bi/flink/2066-%E7%AC%AC31%E8%AE%B2Kafka-%E6%A8%A1%E6%8B%9F%E6%95%B0%E6%8D%AE%E7%94%9F%E6%88%90%E5%92%8C%E5%8F%91%E9%80%81/ 第 29 课时讲过，在计算 PV 和 UV 的过程中关键的一个步骤就是进行日志数据的清洗。实际上在其他业务，比如订单数据的统计中，我们也需要过滤掉一些“脏数据”。 所谓“脏数据”是指与我们定义的标准数据结构不一致，或者不需要的数据。因为在数据清洗 ETL 的过程中经常需要进行数据的反序列化解析和 Java 类的映射， https://index.zshipu.com/geek/post/bi/flink/2065-%E7%AC%AC30%E8%AE%B2Flume-%E5%92%8C-Kafka-%E6%95%B4%E5%90%88%E5%92%8C%E9%83%A8%E7%BD%B2/ Sat, 02 Dec 2023 09:30:05 +0800 https://index.zshipu.com/geek/post/bi/flink/2065-%E7%AC%AC30%E8%AE%B2Flume-%E5%92%8C-Kafka-%E6%95%B4%E5%90%88%E5%92%8C%E9%83%A8%E7%BD%B2/ Flume 概述 Flume 是 Hadoop 生态圈子中的一个重要组件，在上一课时中提过，它是一个分布式的、高可靠的、高可用的日志采集工具。 Flume 具有基于流式数据的简单灵活的架构，同时兼具高可靠性、高可用机制和故障转移机制。当我们使用 Flume 收集数据的速度超过下游的写入速度时，Flume 会自动做调整，使得数据的采集和推送能 https://index.zshipu.com/geek/post/bi/flink/2064-%E7%AC%AC29%E8%AE%B2%E9%A1%B9%E7%9B%AE%E8%83%8C%E6%99%AF%E5%92%8C%E5%AE%9E%E6%97%B6%E5%A4%84%E7%90%86%E7%B3%BB%E7%BB%9F%E6%9E%B6%E6%9E%84%E8%AE%BE%E8%AE%A1/ Sat, 02 Dec 2023 08:59:05 +0800 https://index.zshipu.com/geek/post/bi/flink/2064-%E7%AC%AC29%E8%AE%B2%E9%A1%B9%E7%9B%AE%E8%83%8C%E6%99%AF%E5%92%8C%E5%AE%9E%E6%97%B6%E5%A4%84%E7%90%86%E7%B3%BB%E7%BB%9F%E6%9E%B6%E6%9E%84%E8%AE%BE%E8%AE%A1/ 从这一课时开始我们进入“Flink 实时统计 PV、UV”项目的学习。本课时先介绍实时统计项目的背景、架构设计和技术选型。 背景 PV（Page View，网站的浏览量）即页面的浏览次数，一般用来衡量网站用户访问的网页数量。我们可以简单地认为，一个用户每次打开一个页面便会记录一次 PV，也就 https://index.zshipu.com/geek/post/bi/flink/2063-%E7%AC%AC28%E8%AE%B2TopN-%E7%83%AD%E9%97%A8%E5%95%86%E5%93%81%E5%8A%9F%E8%83%BD%E5%AE%9E%E7%8E%B0/ Sat, 02 Dec 2023 08:58:05 +0800 https://index.zshipu.com/geek/post/bi/flink/2063-%E7%AC%AC28%E8%AE%B2TopN-%E7%83%AD%E9%97%A8%E5%95%86%E5%93%81%E5%8A%9F%E8%83%BD%E5%AE%9E%E7%8E%B0/ 本课时主要讲解 Flink 中的 TopN 功能的设计和实现。 TopN 在我们的业务场景中是十分常见的需求，比如电商场景中求热门商品的销售额、微博每天的热门话题 TopN、贴吧中每天发帖最多的贴吧排名等。TopN 可以进行分组排序，也可以按照需要全局排序，比如若要计算用户下单总金额的 Top 10 时，就需要进行全局排序，然 https://index.zshipu.com/geek/post/bi/flink/2062-%E7%AC%AC27%E8%AE%B2Flink-Redi-Sink-%E5%AE%9E%E7%8E%B0/ Sat, 02 Dec 2023 08:57:05 +0800 https://index.zshipu.com/geek/post/bi/flink/2062-%E7%AC%AC27%E8%AE%B2Flink-Redi-Sink-%E5%AE%9E%E7%8E%B0/ 我们在第 12 课时“Flink 常用的 Source 和 Connector”中提过 Flink 提供了比较丰富的用来连接第三方的连接器，可以在官网中找到 Flink 支持的各种各样的连接器。 此外，Flink 还会基于 Apache Bahir 发布一些 Connector，其中就有我们非常熟悉的 Redis。很多人在 Flink 项目中访问 Redis 的方法都是自己进行实现 https://index.zshipu.com/geek/post/bi/flink/2061-%E7%AC%AC26%E8%AE%B2Flink-%E4%B8%AD%E7%9A%84%E8%81%9A%E5%90%88%E5%87%BD%E6%95%B0%E5%92%8C%E7%B4%AF%E5%8A%A0%E5%99%A8%E7%9A%84%E8%AE%BE%E8%AE%A1%E5%92%8C%E4%BD%BF%E7%94%A8/ Sat, 02 Dec 2023 08:56:05 +0800 https://index.zshipu.com/geek/post/bi/flink/2061-%E7%AC%AC26%E8%AE%B2Flink-%E4%B8%AD%E7%9A%84%E8%81%9A%E5%90%88%E5%87%BD%E6%95%B0%E5%92%8C%E7%B4%AF%E5%8A%A0%E5%99%A8%E7%9A%84%E8%AE%BE%E8%AE%A1%E5%92%8C%E4%BD%BF%E7%94%A8/ 我们在第 08 课时中提到了 Flink 所支持的窗口和时间类型，并且在第 25 课时中详细讲解了如何设置时间戳提取器和水印发射器。 实际的业务中，我们在使用窗口的过程中一定是基于窗口进行的聚合计算。例如，计算窗口内的 UV、PV 等，那么 Flink 支持哪些基于窗口的聚合函数？累加器又该如何实现呢？ Flink 支持的窗口函数 我 https://index.zshipu.com/geek/post/bi/flink/2060-%E7%AC%AC25%E8%AE%B2Flink-%E4%B8%AD-watermark-%E7%9A%84%E5%AE%9A%E4%B9%89%E5%92%8C%E4%BD%BF%E7%94%A8/ Sat, 02 Dec 2023 08:45:05 +0800 https://index.zshipu.com/geek/post/bi/flink/2060-%E7%AC%AC25%E8%AE%B2Flink-%E4%B8%AD-watermark-%E7%9A%84%E5%AE%9A%E4%B9%89%E5%92%8C%E4%BD%BF%E7%94%A8/ 第 08 课时我们提过窗口和时间的概念，Flink 框架支持事件时间、摄入时间和处理时间三种。Watermark（水印）的出现是用于处理数据从 Source 产生，再到转换和输出，在这个过程中由于网络和反压的原因导致了消息乱序问题。 那么在实际的开发过程中，如何正确地使用 Watermark 呢？ 使用 Watermark 必知必会 Watermark 和事件时间 https://index.zshipu.com/geek/post/bi/flink/2059-%E7%AC%AC24%E8%AE%B2Flink-%E6%B6%88%E8%B4%B9-Kafka-%E6%95%B0%E6%8D%AE%E4%B8%9A%E5%8A%A1%E5%BC%80%E5%8F%91/ Sat, 02 Dec 2023 08:43:05 +0800 https://index.zshipu.com/geek/post/bi/flink/2059-%E7%AC%AC24%E8%AE%B2Flink-%E6%B6%88%E8%B4%B9-Kafka-%E6%95%B0%E6%8D%AE%E4%B8%9A%E5%8A%A1%E5%BC%80%E5%8F%91/ 在上一课时中我们提过在实时计算的场景下，绝大多数的数据源都是消息系统，而 Kafka 从众多的消息中间件中脱颖而出，主要是因为高吞吐、低延迟的特点；同时也讲了 Flink 作为生产者像 Kafka 写入数据的方式和代码实现。这一课时我们将从以下几个方面介绍 Flink 消费 Kafka 中的数据方式和源码实现。 Flink 如何消费 Kafka Flink 在和 Kafka 对接的过 https://index.zshipu.com/geek/post/bi/flink/2058-%E7%AC%AC23%E8%AE%B2Mock-Kafka-%E6%B6%88%E6%81%AF%E5%B9%B6%E5%8F%91%E9%80%81/ Sat, 02 Dec 2023 08:42:05 +0800 https://index.zshipu.com/geek/post/bi/flink/2058-%E7%AC%AC23%E8%AE%B2Mock-Kafka-%E6%B6%88%E6%81%AF%E5%B9%B6%E5%8F%91%E9%80%81/ 本课时主要讲解 Kafka 的一些核心概念，以及模拟消息并发送。 大数据消息中间件的王者——Kafka 在上一课时中提过在实时计算的场景下，我们绝大多数的数据源都是消息系统。所以，一个强大的消息中间件来支撑高达几十万的 QPS，以及海量数据存储就显得极其重要。 Kafka 从众多的消息中间件中脱颖而出，主要是 https://index.zshipu.com/geek/post/bi/flink/2057-%E7%AC%AC22%E8%AE%B2%E9%A1%B9%E7%9B%AE%E8%83%8C%E6%99%AF%E5%92%8C%E6%95%B4%E4%BD%93%E6%9E%B6%E6%9E%84%E8%AE%BE%E8%AE%A1/ Sat, 02 Dec 2023 08:40:05 +0800 https://index.zshipu.com/geek/post/bi/flink/2057-%E7%AC%AC22%E8%AE%B2%E9%A1%B9%E7%9B%AE%E8%83%8C%E6%99%AF%E5%92%8C%E6%95%B4%E4%BD%93%E6%9E%B6%E6%9E%84%E8%AE%BE%E8%AE%A1/ 从这一课时开始我们进入实战课程的学习。本项目是一个模拟实时电商数据大屏，本课时先介绍该项目的背景、架构设计和技术选型。 背景 我们在第 01 课时“Flink 的应用场景和架构模型”中提到过，Flink 应用最广的一个场景便是实时计算大屏。每年的双十一、618 电商大促等，各大公司的实时数据战报 https://index.zshipu.com/geek/post/bi/flink/2056-%E7%AC%AC21%E8%AE%B2Flink-%E5%9C%A8%E5%AE%9E%E6%97%B6%E8%AE%A1%E7%AE%97%E5%B9%B3%E5%8F%B0%E5%92%8C%E5%AE%9E%E6%97%B6%E6%95%B0%E6%8D%AE%E4%BB%93%E5%BA%93%E4%B8%AD%E7%9A%84%E4%BD%9C%E7%94%A8/ Sat, 02 Dec 2023 08:39:05 +0800 https://index.zshipu.com/geek/post/bi/flink/2056-%E7%AC%AC21%E8%AE%B2Flink-%E5%9C%A8%E5%AE%9E%E6%97%B6%E8%AE%A1%E7%AE%97%E5%B9%B3%E5%8F%B0%E5%92%8C%E5%AE%9E%E6%97%B6%E6%95%B0%E6%8D%AE%E4%BB%93%E5%BA%93%E4%B8%AD%E7%9A%84%E4%BD%9C%E7%94%A8/ 基于 Flink 的实时计算平台 大部分公司随着业务场景的不断丰富，同时在业界经过多年的实践检验，基于 Hadoop 的离线存储体系已经足够成熟。但是离线计算天然时效性不强，一般都是隔天级别的滞后，业务数据随着实践的推移，本身的价值就会逐渐减少。越来越多的场景需要使用实时计算，在这种背景下实时计算平台的需求 https://index.zshipu.com/geek/post/bi/flink/2055-%E7%AC%AC20%E8%AE%B2Flink-%E9%AB%98%E7%BA%A7%E5%BA%94%E7%94%A8%E4%B9%8B%E6%B5%B7%E9%87%8F%E6%95%B0%E6%8D%AE%E9%AB%98%E6%95%88%E5%8E%BB%E9%87%8D/ Sat, 02 Dec 2023 08:38:05 +0800 https://index.zshipu.com/geek/post/bi/flink/2055-%E7%AC%AC20%E8%AE%B2Flink-%E9%AB%98%E7%BA%A7%E5%BA%94%E7%94%A8%E4%B9%8B%E6%B5%B7%E9%87%8F%E6%95%B0%E6%8D%AE%E9%AB%98%E6%95%88%E5%8E%BB%E9%87%8D/ 本课时我们主要讲解 Flink 中的海量数据高效去重。 消除重复数据是我们在实际业务中经常遇到的一类问题。在大数据领域，重复数据的删除有助于减少存储所需要的存储容量。而且在一些特定的业务场景中，重复数据是不可接受的，例如，精确统计网站一天的用户数量、在事实表中统计每天发出的快递包裹数量。在传统 https://index.zshipu.com/geek/post/bi/flink/2054-%E7%AC%AC19%E8%AE%B2Flink-%E5%A6%82%E4%BD%95%E5%81%9A%E7%BB%B4%E8%A1%A8%E5%85%B3%E8%81%94/ Sat, 02 Dec 2023 08:37:05 +0800 https://index.zshipu.com/geek/post/bi/flink/2054-%E7%AC%AC19%E8%AE%B2Flink-%E5%A6%82%E4%BD%95%E5%81%9A%E7%BB%B4%E8%A1%A8%E5%85%B3%E8%81%94/ 在实际生产中，我们经常会有这样的需求，需要以原始数据流作为基础，然后关联大量的外部表来补充一些属性。例如，我们在订单数据中，希望能得到订单收货人所在省的名称，一般来说订单中会记录一个省的 ID，那么需要根据 ID 去查询外部的维度表补充省名称属性。 在 Flink 流式计算中，我们的一些维度属性一般存 https://index.zshipu.com/geek/post/bi/flink/2053-%E7%AC%AC18%E8%AE%B2%E5%A6%82%E4%BD%95%E8%BF%9B%E8%A1%8C%E7%94%9F%E4%BA%A7%E7%8E%AF%E5%A2%83%E4%BD%9C%E4%B8%9A%E7%9B%91%E6%8E%A7/ Sat, 02 Dec 2023 08:36:05 +0800 https://index.zshipu.com/geek/post/bi/flink/2053-%E7%AC%AC18%E8%AE%B2%E5%A6%82%E4%BD%95%E8%BF%9B%E8%A1%8C%E7%94%9F%E4%BA%A7%E7%8E%AF%E5%A2%83%E4%BD%9C%E4%B8%9A%E7%9B%91%E6%8E%A7/ 本课时主要讲解如何进行生产环境作业监控。 在第 15 课时“如何排查生产环境中的反压问题”中提到过我们应该如何发现任务是否出现反压，Flink 的后台页面是我们发现反压问题的第一选择，其后台页面可以直观、清晰地看到当前作业的运行状态。 在实际生产中，Flink 的后台页面可以方便我们对 Flink Job https://index.zshipu.com/geek/post/bi/flink/2052-%E7%AC%AC17%E8%AE%B2%E7%94%9F%E4%BA%A7%E7%8E%AF%E5%A2%83%E4%B8%AD%E7%9A%84%E5%B9%B6%E8%A1%8C%E5%BA%A6%E5%92%8C%E8%B5%84%E6%BA%90%E8%AE%BE%E7%BD%AE/ Sat, 02 Dec 2023 08:35:05 +0800 https://index.zshipu.com/geek/post/bi/flink/2052-%E7%AC%AC17%E8%AE%B2%E7%94%9F%E4%BA%A7%E7%8E%AF%E5%A2%83%E4%B8%AD%E7%9A%84%E5%B9%B6%E8%A1%8C%E5%BA%A6%E5%92%8C%E8%B5%84%E6%BA%90%E8%AE%BE%E7%BD%AE/ 在使用 Flink 处理生产实际问题时，并行度和资源的配置调优是我们经常要面对的工作之一，如何有效和正确地配置并行度是我们的任务能够高效执行的必要条件。这一课时就来看一下生产环境的并行度和资源配置问题。 Flink 中的计算资源 通常我们说的 Flink 中的计算资源是指具体任务的 Task。首先要理解 Flink 中的计算资源的 https://index.zshipu.com/geek/post/bi/flink/2051-%E7%AC%AC16%E8%AE%B2%E5%A6%82%E4%BD%95%E5%A4%84%E7%90%86%E7%94%9F%E4%BA%A7%E7%8E%AF%E5%A2%83%E4%B8%AD%E7%9A%84%E6%95%B0%E6%8D%AE%E5%80%BE%E6%96%9C%E9%97%AE%E9%A2%98/ Sat, 02 Dec 2023 08:33:05 +0800 https://index.zshipu.com/geek/post/bi/flink/2051-%E7%AC%AC16%E8%AE%B2%E5%A6%82%E4%BD%95%E5%A4%84%E7%90%86%E7%94%9F%E4%BA%A7%E7%8E%AF%E5%A2%83%E4%B8%AD%E7%9A%84%E6%95%B0%E6%8D%AE%E5%80%BE%E6%96%9C%E9%97%AE%E9%A2%98/ 这一课时我们主要讲解如何处理生产环境中的数据倾斜问题。 无论是对于 Flink、Spark 这样的实时计算框架还是 Hive 等离线计算框架，数据量从来都不是问题，真正引起问题导致严重后果的是数据倾斜。所谓数据倾斜，是指在大规模并行处理的数据中，其中某个运行节点处理的数据远远超过其他部分，这会导 https://index.zshipu.com/geek/post/bi/flink/2050-%E7%AC%AC15%E8%AE%B2%E5%A6%82%E4%BD%95%E6%8E%92%E6%9F%A5%E7%94%9F%E4%BA%A7%E7%8E%AF%E5%A2%83%E4%B8%AD%E7%9A%84%E5%8F%8D%E5%8E%8B%E9%97%AE%E9%A2%98/ Sat, 02 Dec 2023 08:32:05 +0800 https://index.zshipu.com/geek/post/bi/flink/2050-%E7%AC%AC15%E8%AE%B2%E5%A6%82%E4%BD%95%E6%8E%92%E6%9F%A5%E7%94%9F%E4%BA%A7%E7%8E%AF%E5%A2%83%E4%B8%AD%E7%9A%84%E5%8F%8D%E5%8E%8B%E9%97%AE%E9%A2%98/ 这一课时我们主要讲解生产环境中 Flink 任务经常会遇到的一个问题，即如何处理好反压问题将直接关系到任务的资源使用和稳定运行。 反压问题是流式计算系统中经常碰到的一个问题，如果你的任务出现反压节点，那么就意味着任务数据的消费速度小于数据的生产速度，需要对生产数据的速度进行控制。通常情况下，反 https://index.zshipu.com/geek/post/bi/flink/2049-%E7%AC%AC14%E8%AE%B2Flink-Exactly-once-%E5%AE%9E%E7%8E%B0%E5%8E%9F%E7%90%86%E8%A7%A3%E6%9E%90/ Sat, 02 Dec 2023 08:31:05 +0800 https://index.zshipu.com/geek/post/bi/flink/2049-%E7%AC%AC14%E8%AE%B2Flink-Exactly-once-%E5%AE%9E%E7%8E%B0%E5%8E%9F%E7%90%86%E8%A7%A3%E6%9E%90/ 这一课时我们将讲解 Flink “精确一次”的语义实现原理，同时这也是面试的必考点。 Flink 的“精确一次”处理语义是，Flink 提供了一个强大的语义保证，也就是说在任何情况下都能保证数据对应用产生的效果只有一次，不会多也不会少。 那么 Flink 是如何实现“端到端的精确一次处理”语义的呢？ 背景 通常情况下，流式 https://index.zshipu.com/geek/post/bi/flink/2048-%E7%AC%AC13%E8%AE%B2%E5%A6%82%E4%BD%95%E5%AE%9E%E7%8E%B0%E7%94%9F%E4%BA%A7%E7%8E%AF%E5%A2%83%E4%B8%AD%E7%9A%84-Flink-%E9%AB%98%E5%8F%AF%E7%94%A8%E9%85%8D%E7%BD%AE/ Sat, 02 Dec 2023 08:30:05 +0800 https://index.zshipu.com/geek/post/bi/flink/2048-%E7%AC%AC13%E8%AE%B2%E5%A6%82%E4%BD%95%E5%AE%9E%E7%8E%B0%E7%94%9F%E4%BA%A7%E7%8E%AF%E5%A2%83%E4%B8%AD%E7%9A%84-Flink-%E9%AB%98%E5%8F%AF%E7%94%A8%E9%85%8D%E7%BD%AE/ 我们在第 06 课时“Flink 集群安装部署和 HA 配置”中讲解了 Flink 的几种常见部署模式，并且简单地介绍了 HA 配置。 概述 事实上，集群的高可用（High Availablility，以下简称 HA）配置是大数据领域经典的一个问题。 通常 HA 用来描述一个系统经过专门的设计，从而减少停工时间，而保持其服务的 https://index.zshipu.com/geek/post/bi/flink/2047-%E7%AC%AC12%E8%AE%B2Flink-%E5%B8%B8%E7%94%A8%E7%9A%84-Source-%E5%92%8C-Connector/ Sat, 02 Dec 2023 08:29:05 +0800 https://index.zshipu.com/geek/post/bi/flink/2047-%E7%AC%AC12%E8%AE%B2Flink-%E5%B8%B8%E7%94%A8%E7%9A%84-Source-%E5%92%8C-Connector/ 本课时我们主要介绍 Flink 中支持的 Source 和常用的 Connector。 Flink 作为实时计算领域强大的计算能力，以及与其他系统进行对接的能力都非常强大。Flink 自身实现了多种 Source 和 Connector 方法，并且还提供了多种与第三方系统进行对接的 Connector。 我们可以把这些 Source、Connector 分成以下 https://index.zshipu.com/geek/post/bi/flink/2045-%E7%AC%AC10%E8%AE%B2Flink-Side-OutPut-%E5%88%86%E6%B5%81/ Sat, 02 Dec 2023 08:28:05 +0800 https://index.zshipu.com/geek/post/bi/flink/2045-%E7%AC%AC10%E8%AE%B2Flink-Side-OutPut-%E5%88%86%E6%B5%81/ 这一课时将介绍 Flink 中提供的一个很重要的功能：旁路分流器。 分流场景 我们在生产实践中经常会遇到这样的场景，需把输入源按照需要进行拆分，比如我期望把订单流按照金额大小进行拆分，或者把用户访问日志按照访问者的地理位置进行拆分等。面对这样的需求该如何操作呢？ 分流的方法 通常来说针对不同的场景， https://index.zshipu.com/geek/post/bi/flink/2046-%E7%AC%AC11%E8%AE%B2Flink-CEP-%E5%A4%8D%E6%9D%82%E4%BA%8B%E4%BB%B6%E5%A4%84%E7%90%86/ Sat, 02 Dec 2023 08:28:05 +0800 https://index.zshipu.com/geek/post/bi/flink/2046-%E7%AC%AC11%E8%AE%B2Flink-CEP-%E5%A4%8D%E6%9D%82%E4%BA%8B%E4%BB%B6%E5%A4%84%E7%90%86/ 你好，欢迎来到第 11 课时，这一课时将介绍 Flink 中提供的一个很重要的功能：复杂事件处理 CEP。 背景 Complex Event Processing（CEP）是 Flink 提供的一个非常亮眼的功能，关于 CEP 的解释我们引用维基百科中的一段话： CEP, is event processing that combines data from multiple sources to infer events or patterns that suggest more complicated circumstances. The goal of complex event processing is to identify meaningful events (such as opportunities or threats) and respond to them as quickly as possible. 在我们的实际生产中，随着数据的实时性要求越来越高，实时数据的量也在不断膨胀，在某些业 https://index.zshipu.com/geek/post/bi/flink/2044-%E7%AC%AC09%E8%AE%B2Flink-%E7%8A%B6%E6%80%81%E4%B8%8E%E5%AE%B9%E9%94%99/ Sat, 02 Dec 2023 08:27:05 +0800 https://index.zshipu.com/geek/post/bi/flink/2044-%E7%AC%AC09%E8%AE%B2Flink-%E7%8A%B6%E6%80%81%E4%B8%8E%E5%AE%B9%E9%94%99/ 这一课时我们主要讲解 Flink 的状态和容错。 在 Flink 的框架中，进行有状态的计算是 Flink 最重要的特性之一。所谓的状态，其实指的是 Flink 程序的中间计算结果。Flink 支持了不同类型的状态，并且针对状态的持久化还提供了专门的机制和状态管理器。 状态 我们在 Flink 的官方博客中找到这样一段话，可以认为这是对状态的定义 https://index.zshipu.com/geek/post/bi/flink/2043-%E7%AC%AC08%E8%AE%B2Flink-%E7%AA%97%E5%8F%A3%E6%97%B6%E9%97%B4%E5%92%8C%E6%B0%B4%E5%8D%B0/ Sat, 02 Dec 2023 08:26:05 +0800 https://index.zshipu.com/geek/post/bi/flink/2043-%E7%AC%AC08%E8%AE%B2Flink-%E7%AA%97%E5%8F%A3%E6%97%B6%E9%97%B4%E5%92%8C%E6%B0%B4%E5%8D%B0/ 本课时主要介绍 Flink 中的时间和水印。 我们在之前的课时中反复提到过窗口和时间的概念，Flink 框架中支持事件时间、摄入时间和处理时间三种。而当我们在流式计算环境中数据从 Source 产生，再到转换和输出，这个过程由于网络和反压的原因会导致消息乱序。因此，需要有一个机制来解决这个问题，这个特别的机制 https://index.zshipu.com/geek/post/bi/flink/2042-%E7%AC%AC07%E8%AE%B2Flink-%E5%B8%B8%E8%A7%81%E6%A0%B8%E5%BF%83%E6%A6%82%E5%BF%B5%E5%88%86%E6%9E%90/ Sat, 02 Dec 2023 08:25:05 +0800 https://index.zshipu.com/geek/post/bi/flink/2042-%E7%AC%AC07%E8%AE%B2Flink-%E5%B8%B8%E8%A7%81%E6%A0%B8%E5%BF%83%E6%A6%82%E5%BF%B5%E5%88%86%E6%9E%90/ 在 Flink 这个框架中，有很多独有的概念，比如分布式缓存、重启策略、并行度等，这些概念是我们在进行任务开发和调优时必须了解的，这一课时我将会从原理和应用场景分别介绍这些概念。 分布式缓存 熟悉 Hadoop 的你应该知道，分布式缓存最初的思想诞生于 Hadoop 框架，Hadoop 会将一些数据或者文件缓存在 HDFS 上，在分布 https://index.zshipu.com/geek/post/bi/flink/2041-%E7%AC%AC06%E8%AE%B2Flink-%E9%9B%86%E7%BE%A4%E5%AE%89%E8%A3%85%E9%83%A8%E7%BD%B2%E5%92%8C-HA-%E9%85%8D%E7%BD%AE/ Sat, 02 Dec 2023 08:24:05 +0800 https://index.zshipu.com/geek/post/bi/flink/2041-%E7%AC%AC06%E8%AE%B2Flink-%E9%9B%86%E7%BE%A4%E5%AE%89%E8%A3%85%E9%83%A8%E7%BD%B2%E5%92%8C-HA-%E9%85%8D%E7%BD%AE/ 我们在这一课时将讲解 Flink 常见的部署模式：本地模式、Standalone 模式和 Flink On Yarn 模式，然后分别讲解三种模式的使用场景和部署中常见的问题，最后将讲解在生产环境中 Flink 集群的高可用配置。 Flink 常见的部署模式 环境准备 在绝大多数情况下，我们的 Flink 都是运行在 Unix 环境中的，推荐在 Mac OS 或者 Linux 环境下运行 Fl https://index.zshipu.com/geek/post/bi/flink/2040-%E7%AC%AC05%E8%AE%B2Flink-SQL-Table-%E7%BC%96%E7%A8%8B%E5%92%8C%E6%A1%88%E4%BE%8B/ Sat, 02 Dec 2023 08:23:05 +0800 https://index.zshipu.com/geek/post/bi/flink/2040-%E7%AC%AC05%E8%AE%B2Flink-SQL-Table-%E7%BC%96%E7%A8%8B%E5%92%8C%E6%A1%88%E4%BE%8B/ 我们在第 02 课时中使用 Flink Table & SQL 的 API 实现了最简单的 WordCount 程序。在这一课时中，将分别从 Flink Table & SQL 的背景和编程模型、常见的 API、算子和内置函数等对 Flink Table & SQL 做一个详细的讲解和概括，最后模拟了一个实际业务场景使用 Flink Table & SQL 开发。 Flink Table & SQL 概述 背景 我们在前面的课时中讲过 Flink 的分层模型，Flink 自身提供 https://index.zshipu.com/geek/post/bi/flink/2039-%E7%AC%AC04%E8%AE%B2Flink-%E5%B8%B8%E7%94%A8%E7%9A%84-DataSet-%E5%92%8C-DataStream-API/ Sat, 02 Dec 2023 08:22:05 +0800 https://index.zshipu.com/geek/post/bi/flink/2039-%E7%AC%AC04%E8%AE%B2Flink-%E5%B8%B8%E7%94%A8%E7%9A%84-DataSet-%E5%92%8C-DataStream-API/ 本课时我们主要介绍 Flink 的 DataSet 和 DataStream 的 API，并模拟了实时计算的场景，详细讲解了 DataStream 常用的 API 的使用。 说好的流批一体呢 现状 在前面的课程中，曾经提到过，Flink 很重要的一个特点是“流批一体”，然而事实上 Flink 并没有完全做到所谓的“流批一体”，即编写一套代码，可以同时支持流式计算场景和批量计算的场 https://index.zshipu.com/geek/post/bi/flink/2038-%E7%AC%AC03%E8%AE%B2Flink-%E7%9A%84%E7%BC%96%E7%A8%8B%E6%A8%A1%E5%9E%8B%E4%B8%8E%E5%85%B6%E4%BB%96%E6%A1%86%E6%9E%B6%E6%AF%94%E8%BE%83/ Sat, 02 Dec 2023 08:21:05 +0800 https://index.zshipu.com/geek/post/bi/flink/2038-%E7%AC%AC03%E8%AE%B2Flink-%E7%9A%84%E7%BC%96%E7%A8%8B%E6%A8%A1%E5%9E%8B%E4%B8%8E%E5%85%B6%E4%BB%96%E6%A1%86%E6%9E%B6%E6%AF%94%E8%BE%83/ 本课时我们主要介绍 Flink 的编程模型与其他框架比较。 本课时的内容主要介绍基于 Flink 的编程模型，包括 Flink 程序的基础处理语义和基本构成模块，并且和 Spark、Storm 进行比较，Flink 作为最新的分布式大数据处理引擎具有哪些独特的优势呢？ Flink 的核心语义和架构模型 我们在讲解 Flink 程序的编程模型之前，先 https://index.zshipu.com/geek/post/bi/flink/2037-%E7%AC%AC02%E8%AE%B2Flink-%E5%85%A5%E9%97%A8%E7%A8%8B%E5%BA%8F-WordCount-%E5%92%8C-SQL-%E5%AE%9E%E7%8E%B0/ Sat, 02 Dec 2023 08:20:05 +0800 https://index.zshipu.com/geek/post/bi/flink/2037-%E7%AC%AC02%E8%AE%B2Flink-%E5%85%A5%E9%97%A8%E7%A8%8B%E5%BA%8F-WordCount-%E5%92%8C-SQL-%E5%AE%9E%E7%8E%B0/ 本课时我们主要介绍 Flink 的入门程序以及 SQL 形式的实现。 上一课时已经讲解了 Flink 的常用应用场景和架构模型设计，这一课时我们将会从一个最简单的 WordCount 案例作为切入点，并且同时使用 SQL 方式进行实现，为后面的实战课程打好基础。 我们首先会从环境搭建入手，介绍如何搭建本地调试环境的脚手架；然后分别从DataS https://index.zshipu.com/geek/post/bi/flink/2036-%E7%AC%AC01%E8%AE%B2Flink-%E7%9A%84%E5%BA%94%E7%94%A8%E5%9C%BA%E6%99%AF%E5%92%8C%E6%9E%B6%E6%9E%84%E6%A8%A1%E5%9E%8B/ Sat, 02 Dec 2023 08:19:05 +0800 https://index.zshipu.com/geek/post/bi/flink/2036-%E7%AC%AC01%E8%AE%B2Flink-%E7%9A%84%E5%BA%94%E7%94%A8%E5%9C%BA%E6%99%AF%E5%92%8C%E6%9E%B6%E6%9E%84%E6%A8%A1%E5%9E%8B/ 你好，欢迎来到第 01 课时，本课时我们主要介绍 Flink 的应用场景和架构模型。 实时计算最好的时代 在过去的十年里，面向数据时代的实时计算技术接踵而至。从我们最初认识的 Storm，再到 Spark 的异军突起，迅速占领了整个实时计算领域。直到 2019 年 1 月底，阿里巴巴内部版本 Flink 正式开源！一石激起千层浪，Flink https://index.zshipu.com/geek/post/bi/flink/2035-%E5%BC%80%E7%AF%87%E8%AF%8D%E5%AE%9E%E6%97%B6%E8%AE%A1%E7%AE%97%E9%A2%86%E5%9F%9F%E6%9C%80%E9%94%8B%E5%88%A9%E7%9A%84%E6%AD%A6%E5%99%A8-Flink/ Sat, 02 Dec 2023 08:18:05 +0800 https://index.zshipu.com/geek/post/bi/flink/2035-%E5%BC%80%E7%AF%87%E8%AF%8D%E5%AE%9E%E6%97%B6%E8%AE%A1%E7%AE%97%E9%A2%86%E5%9F%9F%E6%9C%80%E9%94%8B%E5%88%A9%E7%9A%84%E6%AD%A6%E5%99%A8-Flink/ 你好，欢迎来到 Flink 专栏，我是王知无，目前在某一线互联网公司从事数据平台架构和研发工作多年，算是整个大数据开发领域的老兵了。 我最早从 Release 版本开始关注 Flink，可以说是国内第一批钻研 Flink 的开发者，后来基于 Flink 开发过实时计算业务应用、实时数据仓库以及监控报警系统，在这个过程中积累了大量宝贵的 https://index.zshipu.com/geek/post/bi/flink/%E5%9F%BA%E4%BA%8EFlink-CDC%E6%95%B0%E6%8D%AE%E5%90%8C%E6%AD%A5%E6%A1%88/ Sat, 03 Sep 2022 09:18:05 +0800 https://index.zshipu.com/geek/post/bi/flink/%E5%9F%BA%E4%BA%8EFlink-CDC%E6%95%B0%E6%8D%AE%E5%90%8C%E6%AD%A5%E6%A1%88/ 前言 在业务数据处理过程中，我们时常会遇到不同业务模块 / 存储系统间实时数据同步需求。比如， 报表模块依赖订单模块数据进行增量更新，检索引擎依赖业务数据进行实时同步等。针对这类场景，我们目前采用了Flink-CDC的技术方案用于数据同步。 Flink-CDC（CDC，全称是 Change Data Captu https://index.zshipu.com/geek/post/bi/flink/Flink%E8%A7%84%E5%88%99%E5%BC%95%E6%93%8E%E5%AE%9E%E8%B7%B5/ Fri, 02 Sep 2022 09:18:05 +0800 https://index.zshipu.com/geek/post/bi/flink/Flink%E8%A7%84%E5%88%99%E5%BC%95%E6%93%8E%E5%AE%9E%E8%B7%B5/ 一、实时规则引擎架构 业务系统产生的行为日志数据被日志采集服务器收集，通过Flume将数据存入Kafka指定topic，由Flink消费Kafka对应的topic来进行用户行为事件分析【通过FlinkKafkaComsumer传入参数(1)topic名称(2)反序列化模式Deser https://index.zshipu.com/geek/post/bi/flink/002-Flink-%E5%AE%9E%E6%88%98%E6%A1%88%E4%BE%8B%E5%BC%80%E5%8F%91%E4%B8%80%E6%95%B0%E6%8D%AE%E6%B8%85%E6%B4%97/ Thu, 01 Sep 2022 11:18:05 +0800 https://index.zshipu.com/geek/post/bi/flink/002-Flink-%E5%AE%9E%E6%88%98%E6%A1%88%E4%BE%8B%E5%BC%80%E5%8F%91%E4%B8%80%E6%95%B0%E6%8D%AE%E6%B8%85%E6%B4%97/ 1、应用场景分析 参考徐崴老师Flink项目 数据清洗【实时ETL】 数据报表 1.1、数据清洗【实时ETL】 1.1.1、需求分析 针对算法产生的日志数据进行清洗拆分 算法产生的日志数据是嵌套大JSON格式（json嵌套json），需要拆分打平 针对算法中的国家字段进行大区转换 最后把不同类型的 https://index.zshipu.com/geek/post/bi/flink/003-Flink-%E5%AE%9E%E6%88%98%E6%A1%88%E4%BE%8B%E5%BC%80%E5%8F%91%E4%BA%8C%E6%95%B0%E6%8D%AE%E6%8A%A5%E8%A1%A8/ Thu, 01 Sep 2022 11:18:05 +0800 https://index.zshipu.com/geek/post/bi/flink/003-Flink-%E5%AE%9E%E6%88%98%E6%A1%88%E4%BE%8B%E5%BC%80%E5%8F%91%E4%BA%8C%E6%95%B0%E6%8D%AE%E6%8A%A5%E8%A1%A8/ 1、应用场景分析 数据清洗【实时ETL】 数据报表 1.1、数据报表 1.1.1、架构图 1.1.2、需求分析 主要针对直播/短视频平台审核指标的统计 统计不同大区每1 min内过审(上架)的数据量 统计不同大区每1 min内未过审(下架)的数据量 统计不同大区每1 min内加黑名单的数据量 2、Data https://index.zshipu.com/geek/post/bi/flink/001-Flink_CDC%E6%90%AD%E5%BB%BA%E5%8F%8A%E7%AE%80%E5%8D%95%E4%BD%BF%E7%94%A8/ Thu, 01 Sep 2022 10:18:05 +0800 https://index.zshipu.com/geek/post/bi/flink/001-Flink_CDC%E6%90%AD%E5%BB%BA%E5%8F%8A%E7%AE%80%E5%8D%95%E4%BD%BF%E7%94%A8/ Flink_CDC搭建及简单使用 1.CDC简介： CDC （Change Data Capture） ，在广义的概念上，只要能捕获数据变更的技术，都可以称为 CDC 。但通常我们说的CDC 技术主要面向数据库（包括常见的mysql,Oracle, MongoDB等）的变更，是一种用于捕获数据库中数据变更的技术。 https://index.zshipu.com/geek/post/bi/flink/000-Flink-%E7%AC%AC%E4%B8%80%E6%AC%A1%E8%BF%9E%E6%8E%A5/ Thu, 01 Sep 2022 09:18:05 +0800 https://index.zshipu.com/geek/post/bi/flink/000-Flink-%E7%AC%AC%E4%B8%80%E6%AC%A1%E8%BF%9E%E6%8E%A5/ Flink 操作场景 # Apache Flink 可以以多种方式在不同的环境中部署，抛开这种多样性而言，Flink 集群的基本构建方式和操作原则仍然是相同的。 在这篇文章里，你将会学习如何管理和运行 Flink 任务，了解如何部署和监控应用程序、Flink 如何从失败作业中进行恢复，同时你还会学习如何执行一些日常操作任务，如升级和 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%AE%9E%E6%97%B6%E8%AE%A1%E7%AE%97%E5%9C%A8%E5%BE%AE%E5%8D%9A%E7%9A%84%E5%BA%94%E7%94%A8/ Tue, 15 Mar 2022 12:05:50 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%AE%9E%E6%97%B6%E8%AE%A1%E7%AE%97%E5%9C%A8%E5%BE%AE%E5%8D%9A%E7%9A%84%E5%BA%94%E7%94%A8/ 摘要： 微博机器学习研发中心数据计算负责人，高级系统工程师曹富强为大家带来 Flink 实时计算在微博的应用介绍。 一、微博介绍 本次给大家带来的分享是 Flink 实时计算在微博的应用。微博是中国领先的社交媒体平台，目前的日活跃用户是 2.41 亿，月活跃用户是 5.5 亿，其中移动用户占比超过了 94%。 二、数据计算平台介绍 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%BD%91%E7%AB%99%E6%97%A5%E5%BF%97%E5%AE%9E%E6%97%B6%E5%88%86%E6%9E%90%E4%B9%8B%E5%A4%84%E7%90%86%E5%AE%9E%E6%97%B6%E7%83%AD%E9%97%A8%E5%92%8C%E7%BB%9F%E8%AE%A1/ Tue, 15 Mar 2022 11:44:52 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%BD%91%E7%AB%99%E6%97%A5%E5%BF%97%E5%AE%9E%E6%97%B6%E5%88%86%E6%9E%90%E4%B9%8B%E5%A4%84%E7%90%86%E5%AE%9E%E6%97%B6%E7%83%AD%E9%97%A8%E5%92%8C%E7%BB%9F%E8%AE%A1/ 实时热门统计 操作步骤： 先从Kafka读取消费数据 使用map算子对数据进行预处理 过滤数据，只留住pv数据 使用timewindow，每隔10秒创建一个20秒的window 然后将窗口自定义预聚合，并且兹定于窗口函数，按指定输入输出case操作数据 上面操作时候返回的是DataStream https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E4%BA%AC%E4%B8%9C%E6%90%9C%E7%B4%A2%E6%8E%92%E5%BA%8F%E5%9C%A8%E7%BA%BF%E5%AD%A6%E4%B9%A0%E7%9A%84%E4%BC%98%E5%8C%96%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 11:27:09 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E4%BA%AC%E4%B8%9C%E6%90%9C%E7%B4%A2%E6%8E%92%E5%BA%8F%E5%9C%A8%E7%BA%BF%E5%AD%A6%E4%B9%A0%E7%9A%84%E4%BC%98%E5%8C%96%E5%AE%9E%E8%B7%B5/ 摘要：本文由京东搜索算法架构团队分享，主要介绍 Apache Flink 在京东商品搜索排序在线学习中的应用实践。文章的主要大纲如下： 一、背景 在京东的商品搜索排序中，经常会遇到搜索结果多样性不足导致系统非最优解的问题。为了解决数据马太效应带来的模型商品排序多样性的不足，我们利用基于二项式汤普森采样建模， https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9F%BA%E4%BA%8E%E7%9A%84%E4%BC%98%E5%8C%96%E4%B8%8E%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 10:55:26 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9F%BA%E4%BA%8E%E7%9A%84%E4%BC%98%E5%8C%96%E4%B8%8E%E5%AE%9E%E8%B7%B5/ 分享嘉宾：周晖栋 bilibili 编辑整理：宋灵城 贝壳找房/东南大学 出品平台：DataFunTalk 导读： 本文主要介绍Flink实时计算在bilibili的优化，将从以下四个方面展开：① Flink-connector稳定性优化；② Flink sql优化；③ Flink-runtime优化；④ 对未来的展望。 01 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E4%BA%AC%E4%B8%9C%E4%BC%98%E5%8C%96%E4%B8%8E%E6%8A%80%E6%9C%AF%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 10:24:21 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E4%BA%AC%E4%B8%9C%E4%BC%98%E5%8C%96%E4%B8%8E%E6%8A%80%E6%9C%AF%E5%AE%9E%E8%B7%B5/ 分享嘉宾：付海涛 京东 高级技术专家 编辑整理：刘明明 出品平台：DataFunTalk 导读： Flink是目前流式处理领域的热门引擎，具备高吞吐、低延迟的特点，在实时数仓、实时风控、实时推荐等多个场景有着广泛的应用。京东于2018年开始基于Flink+K8s深入打造高性能、稳定、可靠、易 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%B9%B4%E7%BD%91%E6%98%93%E4%BA%91%E9%9F%B3%E4%B9%90%E5%AE%9E%E6%97%B6%E8%AE%A1%E7%AE%97%E5%B9%B3%E5%8F%B0%E5%8F%91%E5%B1%95%E5%92%8C%E6%8C%91%E6%88%98/ Tue, 15 Mar 2022 10:16:57 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%B9%B4%E7%BD%91%E6%98%93%E4%BA%91%E9%9F%B3%E4%B9%90%E5%AE%9E%E6%97%B6%E8%AE%A1%E7%AE%97%E5%B9%B3%E5%8F%B0%E5%8F%91%E5%B1%95%E5%92%8C%E6%8C%91%E6%88%98/ 以下文章来源于网易有数 ，作者大愚 摘要： 网易云音乐从 2018 年开始搭建实时计算平台，经过几年的发展已经渗透到云音乐的各个业务当中。本文是大愚老师的一篇实践分享，将从一个日常运维问题出发，带领大家了解云音乐实时计算平台的一些工作进展和未来规划。 网易云音乐实时数仓平台上线以后，经过一年半的发 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%AF%B9%E8%B1%A1%E5%AD%98%E5%82%A8%E6%9E%84%E5%BB%BA%E6%95%B0%E6%8D%AE%E6%B9%96%E6%96%B9%E6%A1%88/ Tue, 15 Mar 2022 10:10:57 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%AF%B9%E8%B1%A1%E5%AD%98%E5%82%A8%E6%9E%84%E5%BB%BA%E6%95%B0%E6%8D%AE%E6%B9%96%E6%96%B9%E6%A1%88/ 孙伟@Dell Flink 中文社区 摘要：本文整理自 Dell 科技集团高级软件研发经理孙伟在 4 月 17 日 上海站 Flink Meetup 分享的《Iceberg 和对象存储构建数据湖方案》。内容包括： 数据湖和 Iceberg 简介 未来规划 演示方案 存储优化的一些思考 一、数据湖和 Iceberg 简介 1. 数据湖生态 如上图所示，对于一个成熟的数据湖生态而言： 首先我们认 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%AB%AF%E5%88%B0%E7%AB%AF%E7%89%B9%E6%80%A7%E6%A6%82%E8%A7%88%E7%BF%BB%E8%AF%91/ Tue, 15 Mar 2022 10:09:54 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%AB%AF%E5%88%B0%E7%AB%AF%E7%89%B9%E6%80%A7%E6%A6%82%E8%A7%88%E7%BF%BB%E8%AF%91/ 原文地址： https://my.oschina.net/u/992559/blog/1819948 作者： moyiguke Apache Flink 端到端（end-to-end）Exactly-Once特性概览 本文是flink博文的翻译，原文链接 https://flink.apache.org/features/2018/03/01/end-to-end-exactly-once-apache-flink.html 2017年12月份发布的Apache Flink 1.4版本，引进了一个重要的特性：TwoPhaseCommitSinkFunction （关联Jira https://i https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%B9%B2%E8%B4%A7%E7%AF%87%E5%9F%BA%E4%BA%8E%E7%9A%84%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E5%B7%A5%E4%BD%9C%E6%B5%81%E5%B9%B3%E5%8F%B0%E5%9C%A8%E7%AB%99%E7%9A%84%E5%BA%94%E7%94%A8/ Tue, 15 Mar 2022 10:05:18 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%B9%B2%E8%B4%A7%E7%AF%87%E5%9F%BA%E4%BA%8E%E7%9A%84%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E5%B7%A5%E4%BD%9C%E6%B5%81%E5%B9%B3%E5%8F%B0%E5%9C%A8%E7%AB%99%E7%9A%84%E5%BA%94%E7%94%A8/ 分享嘉宾: 张杨，B站资深开发工程师 整理出品: AICUG人工智能社区 浏览器不支持该媒体的播放 :( 导读 : 整个机器学习的过程,从数据上报,到特征计算,到模型训练,再到线上部署,最终效果评估,整个流程非常冗长,在b站,多个团队都会搭建自己的机器学习链路,来完成各自的机器学习需求,工程效率和 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%95%B0%E6%8D%AE%E6%B9%96%E7%9A%84%E4%BD%93%E9%AA%8C/ Tue, 15 Mar 2022 10:02:12 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%95%B0%E6%8D%AE%E6%B9%96%E7%9A%84%E4%BD%93%E9%AA%8C/ 以下文章来源于Flink 中文社区 ，作者余东@去哪儿 2021年加入Qunar，主要负责数据平台Flink的运维与平台开发。 本文导读 背景及特点 1. 背景 在使用 Flink 做实时数仓以及数据传输过程中，遇到了一些问题：比如 Kafka 数据丢失，Flink 结合 Hive 的近实时数仓性能等。Iceberg 0.11 的新特性解决了 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%AE%9E%E6%97%B6%E8%AE%A1%E7%AE%97%E5%BC%95%E6%93%8E%E5%9C%A8%E8%B4%9D%E5%A3%B3%E7%9A%84%E5%BA%94%E7%94%A8%E4%B8%8E%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 09:59:04 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%AE%9E%E6%97%B6%E8%AE%A1%E7%AE%97%E5%BC%95%E6%93%8E%E5%9C%A8%E8%B4%9D%E5%A3%B3%E7%9A%84%E5%BA%94%E7%94%A8%E4%B8%8E%E5%AE%9E%E8%B7%B5/ 导读：本次分享的主题为实时计算引擎在贝壳的应用与实践。主要内容包括： 背景介绍 流式计算平台 实时分析监控平台-FAST 后续规划 ——背景介绍—— 贝壳找房由链家网升级而来，是以技术驱动的品质居住服务平台，聚合和赋能全行业的优质服务者，打造开放的品质居住服务生态，致力于为两亿家庭提供包括二 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%AD%97%E8%8A%82%E8%B7%B3%E5%8A%A8%E5%8D%95%E7%82%B9%E6%81%A2%E5%A4%8D%E5%8A%9F%E8%83%BD%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 09:35:11 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%AD%97%E8%8A%82%E8%B7%B3%E5%8A%A8%E5%8D%95%E7%82%B9%E6%81%A2%E5%A4%8D%E5%8A%9F%E8%83%BD%E5%AE%9E%E8%B7%B5/ 字节跳动技术团队 背景 在字节跳动的实时计算场景中，我们有很多任务（数量 2k+）会直接服务于线上，其输出时延和稳定性会直接影响线上产品的用户体验，这类任务通常具有如下特点： 流量大，并发高（最大的任务并行度超过 1w） 拓扑类似于多流 Join，将各个数据源做整合输出给下游，不依赖 Checkpoint 没有使用 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%BF%AB%E6%89%8B%E5%9F%BA%E4%BA%8E%E6%9E%84%E5%BB%BA%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E5%9C%BA%E6%99%AF%E5%8C%96%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 09:30:50 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%BF%AB%E6%89%8B%E5%9F%BA%E4%BA%8E%E6%9E%84%E5%BB%BA%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E5%9C%BA%E6%99%AF%E5%8C%96%E5%AE%9E%E8%B7%B5/ 李天朔@快手 Flink 中文社区 摘要：本文整理自快手数据技术专家李天朔在 5 月 22 日北京站 Flink Meetup 分享的议题《快手基于 Flink 构建实时数仓场景化实践》 一、快手实时计算场景 快手业务中的实时计算场景主要分为四块： 公司级别的核心数据： 包括公司经营大盘，实时核心日报，以及移动版数据。相当于团队会有公司的大盘指标 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%92%8C%E7%9A%84%E6%89%B9%E6%B5%81%E8%9E%8D%E5%90%88/ Tue, 15 Mar 2022 09:28:49 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%92%8C%E7%9A%84%E6%89%B9%E6%B5%81%E8%9E%8D%E5%90%88/ 作者： 翟佳@Pulsar 摘要： StreamNative 联合创始人翟佳在本次演讲中介绍了下一代云原生消息流平台 Apache Pulsar，并讲解如何通过 Apache Pulsar 原生的存储计算分离的架构提供批流融合的基础，以及 Apache Pulsar 如何与 Flink 结合，实现批流一体的计算。 Apache Pulsar 相对比较新，它于 2017 年加入 Apache 软件基金会，2018 年才从 Apache 软件基金会毕业并 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%80%9F%E5%8A%A9%E4%B8%8E%E6%89%93%E9%80%A0%E5%AE%9E%E6%97%B6%E6%B6%88%E6%81%AF%E5%A4%84%E7%90%86%E7%B3%BB%E7%BB%9F/ Tue, 15 Mar 2022 09:27:49 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%80%9F%E5%8A%A9%E4%B8%8E%E6%89%93%E9%80%A0%E5%AE%9E%E6%97%B6%E6%B6%88%E6%81%AF%E5%A4%84%E7%90%86%E7%B3%BB%E7%BB%9F/ 陈航@BIGO Flink 中文社区 摘要： 本文整理自 BIGO Staff Engineer 陈航在 Flink Forward Asia 2020 分享的议题《借助 Flink 与 Pulsar，BIGO 打造实时消息处理系统》。 一、关于 BIGO 借助于大数据和人工智能技术，BIGO 基于视频的服务和产品获得了广泛的欢迎，在 150 多个国家和地区获得了大量的用户。BIGO 主要有两款非常流行的产品， https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9C%A8%E6%B1%BD%E8%BD%A6%E4%B9%8B%E5%AE%B6%E7%9A%84%E5%BA%94%E7%94%A8%E4%B8%8E%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 09:26:56 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9C%A8%E6%B1%BD%E8%BD%A6%E4%B9%8B%E5%AE%B6%E7%9A%84%E5%BA%94%E7%94%A8%E4%B8%8E%E5%AE%9E%E8%B7%B5/ Flink 中文社区 邸星星 稿 摘要： 本文整理自汽车之家实时计算平台负责人邸星星在 Flink Forward Asia 2020 分享的议题《Apache Flink 在汽车之家的应用及实践》。 一、背景及现状 1. 第一阶段 在 2019 年之前，汽车之家的大部分实时业务都是运行在 Storm 之上的。Storm 作为早期主流的实时计算引擎，凭借简单的 Spout 和 Bolt 编程模型以及集群本 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9F%BA%E4%BA%8E%E6%89%93%E9%80%A0%E7%9A%84%E4%BC%B4%E9%B1%BC%E5%AE%9E%E6%97%B6%E8%AE%A1%E7%AE%97%E5%B9%B3%E5%8F%B0%E7%9A%84%E8%AE%BE%E8%AE%A1%E4%B8%8E%E5%AE%9E%E7%8E%B0/ Tue, 15 Mar 2022 09:24:59 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9F%BA%E4%BA%8E%E6%89%93%E9%80%A0%E7%9A%84%E4%BC%B4%E9%B1%BC%E5%AE%9E%E6%97%B6%E8%AE%A1%E7%AE%97%E5%B9%B3%E5%8F%B0%E7%9A%84%E8%AE%BE%E8%AE%A1%E4%B8%8E%E5%AE%9E%E7%8E%B0/ 摘要： 去年开始着手打造伴鱼公司级的实时计算平台，平台代号 Palink，由 Flink + Palfish 组合而来。 在伴鱼发展早期，出现了一系列实时性相关的需求，比如算法工程师期望可以拿到用户的实时特征数据做实时推荐，产品经理希望数据方可以提供实时指标看板做实时运营分析。 这个阶段中台数据开发工程师主要是基于 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%BD%91%E6%98%93%E6%B8%B8%E6%88%8F%E5%9F%BA%E4%BA%8E%E7%9A%84%E6%B5%81%E5%BC%8F%E5%BB%BA%E8%AE%BE/ Tue, 15 Mar 2022 09:21:41 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%BD%91%E6%98%93%E6%B8%B8%E6%88%8F%E5%9F%BA%E4%BA%8E%E7%9A%84%E6%B5%81%E5%BC%8F%E5%BB%BA%E8%AE%BE/ 网易游戏资深开发工程师林小铂为大家带来网易游戏基于 Flink 的流式 ETL 建设的介绍。内容包括： 业务背景 专用 ETL EntryX 通用 ETL 调优实践 未来规划 一. 业务背景 网易游戏 ETL 服务概况 网易游戏的基础数据主要日志方式采集，这些日志通常是非结构化或半结构化数据，需要经过数据集成 ETL 才可以入库至实时或离线的数据仓库。此后 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%BF%AB%E6%89%8B%E5%9F%BA%E4%BA%8E%E7%9A%84%E5%AE%9E%E6%97%B6%E8%AE%A1%E7%AE%97%E6%8C%81%E7%BB%AD%E4%BC%98%E5%8C%96%E4%B8%8E%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 09:19:50 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%BF%AB%E6%89%8B%E5%9F%BA%E4%BA%8E%E7%9A%84%E5%AE%9E%E6%97%B6%E8%AE%A1%E7%AE%97%E6%8C%81%E7%BB%AD%E4%BC%98%E5%8C%96%E4%B8%8E%E5%AE%9E%E8%B7%B5/ 摘要： 本文由快手实时计算负责人董亭亭分享，主要介绍快手基于 Flink 的持续优化与实践的介绍。内容包括： Flink 稳定性持续优化 Flink 任务启动优化 Flink SQL 实践与优化 未来的工作 一、Flink 稳定性持续优化 第一部分是 Flink 稳定性的持续优化。该部分包括两个方面，第一个方面，主要介绍快手在 Flink Kafka Connector 方面做的一些高可用，是 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%98%BF%E9%87%8C%E5%9F%BA%E4%BA%8E%E7%9A%84%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E5%B9%B3%E5%8F%B0/ Tue, 15 Mar 2022 09:18:53 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%98%BF%E9%87%8C%E5%9F%BA%E4%BA%8E%E7%9A%84%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E5%B9%B3%E5%8F%B0/ 分享嘉宾：杨旭 阿里巴巴 资深算法专家 编辑整理：朱荣 导读： Alink是基于Flink流批一体的机器学习平台，提供一系列算法，可以帮助处理各种机器学习任务，比如统计分析、机器学习、实时预测、个性化推荐和异常检测。除了提供Java API也提供了PyAlink，可以轻松部署到单机及集群环境 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%B6%A3%E5%A4%B4%E6%9D%A1%E5%9F%BA%E4%BA%8E%E7%9A%84%E5%AE%9E%E6%97%B6%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90%E5%B9%B3%E5%8F%B0/ Tue, 15 Mar 2022 09:18:08 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%B6%A3%E5%A4%B4%E6%9D%A1%E5%9F%BA%E4%BA%8E%E7%9A%84%E5%AE%9E%E6%97%B6%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90%E5%B9%B3%E5%8F%B0/ 分享嘉宾：王金海 趣头条 编辑整理：王彦 内容来源：Flink Forward Asia 出品平台：DataFunTalk 导读： 趣头条一直致力于使用大数据分析指导业务发展。目前在实时化领域主要使用 Flink+ClickHouse 解决方案，覆盖场景包括实时数据报表、Adhoc 即时查询、事件分析、漏斗分析、留存分析等精细化运营策略，整体响应 80% https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%B9%B2%E8%B4%A7%E4%B8%9A%E7%95%8C%E5%AE%9E%E6%97%B6%E6%95%B0%E6%8D%AE%E4%BD%93%E7%B3%BB%E6%9E%B6%E6%9E%84/ Tue, 15 Mar 2022 09:17:40 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%B9%B2%E8%B4%A7%E4%B8%9A%E7%95%8C%E5%AE%9E%E6%97%B6%E6%95%B0%E6%8D%AE%E4%BD%93%E7%B3%BB%E6%9E%B6%E6%9E%84/ 刘大龙@唯品会 导读： 随着互联网的发展进入下半场，数据的时效性对企业的精细化运营越来越重要， 商场如战场，在每天产生的海量数据中，如何能实时有效的挖掘出有价值的信息， 对企业的决策运营策略调整有很大帮助。此外，随着 5G 技术的成熟、广泛应用， 对于工业互联网、物联网等数据时效性要求非常高的行 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9C%A8%E6%9C%89%E8%B5%9E%E5%AE%9E%E6%97%B6%E8%AE%A1%E7%AE%97%E7%9A%84%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 09:17:38 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9C%A8%E6%9C%89%E8%B5%9E%E5%AE%9E%E6%97%B6%E8%AE%A1%E7%AE%97%E7%9A%84%E5%AE%9E%E8%B7%B5/ 转载自： 有赞技术团队博客 一、前言 这篇主要由五个部分来组成： 首先是有赞的实时平台架构。 其次是在调研阶段我们为什么选择了 Flink。在这个部分，主要是 Flink 与 Spark 的 structured streaming 的一些对比和选择 Flink 的原因。 第三个就是比较重点的内容，Flink 在有赞的实践。这其中包括了我们在使用 Flink 的过程中碰到的一些坑， https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9C%A8%E4%BA%AC%E4%B8%9C%E7%9A%84%E5%AE%9E%E8%B7%B5%E4%B8%8E%E4%BC%98%E5%8C%96/ Tue, 15 Mar 2022 09:13:33 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9C%A8%E4%BA%AC%E4%B8%9C%E7%9A%84%E5%AE%9E%E8%B7%B5%E4%B8%8E%E4%BC%98%E5%8C%96/ 来源： 付海涛@京东 Flink 中文社区 摘要： 本文整理自京东高级技术专家付海涛在 Flink Forward Asia 2020 分享的议题《Apache Flink 在京东的实践与优化》 一、业务演进和规模 业务演进 京东在 2014 年基于 storm 打造了第一代流式处理平台，可以较好的满足业务对于数据处理实时性的要求。不过它有一些局限性，对于那些数据量特别大，但是 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9C%A8%E7%88%B1%E5%A5%87%E8%89%BA%E5%B9%BF%E5%91%8A%E4%B8%9A%E5%8A%A1%E7%9A%84%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 09:13:23 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9C%A8%E7%88%B1%E5%A5%87%E8%89%BA%E5%B9%BF%E5%91%8A%E4%B8%9A%E5%8A%A1%E7%9A%84%E5%AE%9E%E8%B7%B5/ **简介：**5 月 22 日北京站 Flink Meetup 分享的议题。 本文整理自爱奇艺技术经理韩红根在 5 月 22 日北京站 Flink Meetup 分享的议题《Flink 在爱奇艺广告业务的实践》，内容包括： 业务场景 业务实践 Flink 使用过程中的问题及解决 未来规划 一、业务场景 实时数据在广告业务的使用场景主要可以分为四个方面： 数据大屏： 包括曝光 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%8E%9F%E7%90%86%E6%B5%81%E7%A8%8B%E4%BB%A5%E5%8F%8A%E5%B8%B8%E8%A7%81%E5%A4%B1%E8%B4%A5%E5%8E%9F%E5%9B%A0%E5%88%86%E6%9E%90/ Tue, 15 Mar 2022 09:13:19 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%8E%9F%E7%90%86%E6%B5%81%E7%A8%8B%E4%BB%A5%E5%8F%8A%E5%B8%B8%E8%A7%81%E5%A4%B1%E8%B4%A5%E5%8E%9F%E5%9B%A0%E5%88%86%E6%9E%90/ 作者：沈磊 团队：大数据 前言 目前有赞实时任务主要以 Flink 为主，为了保证实时任务的容错恢复以及停止重启时的状态恢复，几乎所有的实时任务都会开启 Checkpoint 或者触发 Savepoint 进行状态保存。由于 Savepoint 底层原理的实现和 Checkpoint 几乎一致，本文结合 Flink 1.9 版本，重点讲述 Flink Checkpoint 原理流程以及常见原因分析，让用户能够更好的理解 Flink Chec https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9C%A8%E7%9A%84%E5%A4%9A%E5%85%83%E5%8C%96%E6%8E%A2%E7%B4%A2%E4%B8%8E%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 09:08:44 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9C%A8%E7%9A%84%E5%A4%9A%E5%85%83%E5%8C%96%E6%8E%A2%E7%B4%A2%E4%B8%8E%E5%AE%9E%E8%B7%B5/ 摘要： 本文由 bilibili 大数据实时平台负责人郑志升分享，本次分享核心讲解万亿级传输分发架构的落地，以及 AI 领域如何基于 Flink 打造一套完善的预处理实时 Pipeline。本次分享主要围绕以下四个方面： B 站实时的前世与今生 Flink On Yarn 的增量化管道的方案 Flink 和 AI 方向的一些工程实践 未来的发展与思考 一、B 站实时的前 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%A6%82%E4%BD%95%E6%94%AF%E6%8C%81%E7%89%B9%E5%BE%81%E5%B7%A5%E7%A8%8B%E5%9C%A8%E7%BA%BF%E5%AD%A6%E4%B9%A0%E5%9C%A8%E7%BA%BF%E9%A2%84%E6%B5%8B%E7%AD%89%E5%9C%BA%E6%99%AF/ Tue, 15 Mar 2022 09:08:42 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%A6%82%E4%BD%95%E6%94%AF%E6%8C%81%E7%89%B9%E5%BE%81%E5%B7%A5%E7%A8%8B%E5%9C%A8%E7%BA%BF%E5%AD%A6%E4%B9%A0%E5%9C%A8%E7%BA%BF%E9%A2%84%E6%B5%8B%E7%AD%89%E5%9C%BA%E6%99%AF/ 分享嘉宾：陈戊超、高赟 阿里 技术专家 文章整理：有感情的打字机 内容来源：Flink Forward ASIA 出品平台：DataFun 导读：Flink 是一个分布式 计算引擎，支持 批流一体 的数据处理。在实际生产中的人工智能使用场景中，Flink 在包括 特征工程，在线学习，在线预测 等方面都有一些独特优势，为了更好的 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9F%BA%E4%BA%8E%E7%9A%84%E7%88%B1%E5%A5%87%E8%89%BA%E5%AE%9E%E6%97%B6%E8%AE%A1%E7%AE%97%E5%B9%B3%E5%8F%B0%E5%BB%BA%E8%AE%BE%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 09:07:55 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9F%BA%E4%BA%8E%E7%9A%84%E7%88%B1%E5%A5%87%E8%89%BA%E5%AE%9E%E6%97%B6%E8%AE%A1%E7%AE%97%E5%B9%B3%E5%8F%B0%E5%BB%BA%E8%AE%BE%E5%AE%9E%E8%B7%B5/ 分享嘉宾：梁建煌 爱奇艺 编辑整理：张宇轩 内容来源：Flink Forward Asia 导读： 随着大数据的快速发展，行业大数据服务越来越重要。同时，对大数据实时计算的要求也越来越高。今天会和大家分享下爱奇艺基于Apache Flink的实时计算平台建设实践。 今天的介绍会围绕下面三点展开： Flink的现状与改 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9F%BA%E4%BA%8E%E6%9E%84%E5%BB%BA%E6%B5%81%E6%89%B9%E4%B8%80%E4%BD%93%E7%9A%84%E6%95%B0%E6%8D%AE%E9%9B%86%E6%88%90/ Tue, 15 Mar 2022 09:06:30 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9F%BA%E4%BA%8E%E6%9E%84%E5%BB%BA%E6%B5%81%E6%89%B9%E4%B8%80%E4%BD%93%E7%9A%84%E6%95%B0%E6%8D%AE%E9%9B%86%E6%88%90/ 摘要： 本文整理自云邪、雪尽在 Flink Forward Asia 2020 的分享，该分享以 4 个章节来详细介绍如何利用 Flink SQL 构建流批一体的 ETL 数据集成, 文章的主要内容如下： 数据仓库与数据集成 数据接入(E) 数据入仓/湖(L) 数据打宽(T) 数据仓库与数据集成 数据仓库是一个集成的（Integrated），面向主题的（Subjec https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9F%BA%E4%BA%8E%E7%9A%84%E4%B8%A5%E9%80%89%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 09:06:27 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9F%BA%E4%BA%8E%E7%9A%84%E4%B8%A5%E9%80%89%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E5%AE%9E%E8%B7%B5/ 分享嘉宾： 杨雄 网易严选 资深研发工程师 内容来源： DataFun Talk《基于Flink的严选实时数仓实践》 出品社区： DataFun 今天分享的内容主要分为四个部分，首先会介绍下严选实时数仓的背景、产生的一些问题。然后是针对这些背景和问题对实时数仓的整体设计和具体的实施方案，接着会介绍下在实时数仓的数据质量方 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%98%BF%E9%87%8C%E5%B7%B4%E5%B7%B4%E4%B8%BA%E4%BB%80%E4%B9%88%E9%80%89%E6%8B%A9%E4%B8%8B%E4%B8%80%E4%BB%A3%E5%A4%A7%E6%95%B0%E6%8D%AE%E5%A4%84%E7%90%86%E7%B3%BB%E7%BB%9F/ Tue, 15 Mar 2022 09:06:22 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%98%BF%E9%87%8C%E5%B7%B4%E5%B7%B4%E4%B8%BA%E4%BB%80%E4%B9%88%E9%80%89%E6%8B%A9%E4%B8%8B%E4%B8%80%E4%BB%A3%E5%A4%A7%E6%95%B0%E6%8D%AE%E5%A4%84%E7%90%86%E7%B3%BB%E7%BB%9F/ 阿里妹导读：伴随着海量增长的数据，数字化时代的未来感扑面而至。不论是结绳记事的小数据时代，还是我们正在经历的大数据时代，计算的边界正在被无限拓宽，而数据的价值再也难以被计算。时下，谈及大数据，不得不提到热门的下一代大数据计算引擎Apache Flink（以下简称Flink）。本文将 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%9F%A5%E4%B9%8E%E6%95%B0%E6%8D%AE%E9%9B%86%E6%88%90%E5%B9%B3%E5%8F%B0%E5%BB%BA%E8%AE%BE%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 09:06:20 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%9F%A5%E4%B9%8E%E6%95%B0%E6%8D%AE%E9%9B%86%E6%88%90%E5%B9%B3%E5%8F%B0%E5%BB%BA%E8%AE%BE%E5%AE%9E%E8%B7%B5/ 分享嘉宾：孙晓光 知乎 技术平台负责人 内容来源：Flink中文社区 摘要： 本文由知乎技术平台负责人孙晓光分享，主要介绍知乎 Flink 数据集成平台建设实践。内容如下： 业务场景 历史设计 全面转向 Flink 后的设计 未来 Flink 应用场景的规划 01 业务场景 很高兴和大家分享近期 知乎以 Flink 为基础，重构上一代数据集成平台 过程中的 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%BC%95%E6%93%8E%E6%80%A7%E8%83%BD%E4%BC%98%E5%8C%96%E5%8F%8A%E5%BA%94%E7%94%A8/ Tue, 15 Mar 2022 09:06:18 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%BC%95%E6%93%8E%E6%80%A7%E8%83%BD%E4%BC%98%E5%8C%96%E5%8F%8A%E5%BA%94%E7%94%A8/ 分享嘉宾：贺小令 阿里巴巴技术专家 编辑整理：王吉东 内容来源：Flink Forward ASIA 出品平台：DataFun 导读： 本次分享的主题为 Apache Flink 新场景——OLAP 引擎，主要内容包括： 背景介绍 Apache Flink OLAP 引擎 案例介绍 未来计划 1. OLAP 及其分类 OLAP 是一种让用户可以用从不同视角方便快捷的分析数据的计算方法。主流的 OLAP 可以分 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%9C%9F%E5%AE%9E%E7%94%9F%E4%BA%A7%E6%A1%88%E4%BE%8B%E6%B6%88%E6%81%AF%E4%B8%AD%E9%97%B4%E4%BB%B6%E5%A6%82%E4%BD%95%E5%A4%84%E7%90%86%E6%B6%88%E8%B4%B9%E5%A4%B1%E8%B4%A5%E7%9A%84%E6%B6%88%E6%81%AF/ Tue, 15 Mar 2022 09:05:42 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%9C%9F%E5%AE%9E%E7%94%9F%E4%BA%A7%E6%A1%88%E4%BE%8B%E6%B6%88%E6%81%AF%E4%B8%AD%E9%97%B4%E4%BB%B6%E5%A6%82%E4%BD%95%E5%A4%84%E7%90%86%E6%B6%88%E8%B4%B9%E5%A4%B1%E8%B4%A5%E7%9A%84%E6%B6%88%E6%81%AF/ 爱钓鱼的桌子哥，资深架构师 先后工作于滴滴、百度、字节跳动等国内一线互联网大厂，从事基础架构相关工作。带领团队设计与构建了大规模的分布式存储系统、分布式消息中间件、分布式数据库，对分布式架构设计、系统高可用体系构建、基础中间件架构都有丰富的经验。 1、消息中间件在生产系统中的使用 下图 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%90%BA%E7%A8%8B%E5%AE%9E%E6%97%B6%E6%99%BA%E8%83%BD%E6%A3%80%E6%B5%8B%E5%B9%B3%E5%8F%B0%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 09:05:21 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%90%BA%E7%A8%8B%E5%AE%9E%E6%97%B6%E6%99%BA%E8%83%BD%E6%A3%80%E6%B5%8B%E5%B9%B3%E5%8F%B0%E5%AE%9E%E8%B7%B5/ 分享嘉宾：潘国庆@携程 文章整理：王钊 内容来源：Flink Forward 来源： DataFunTalk 导读： 将实时计算和深度学习相结合、可解决某种特定的业务场景。本次将分享基于tensorflow和flink构建携程的实时智能检测平台。 今天分享的主要内容分为四个部分： 1. Background 2. What is Prophet 3. AI and Real Time 4. Challenges and Future 每个公司都会有监控 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%B4%9D%E5%A3%B3%E6%89%BE%E6%88%BF%E5%A4%8D%E6%9D%82%E8%AE%A2%E9%98%85%E6%9D%A1%E4%BB%B6%E4%B8%8B%E5%A6%82%E4%BD%95%E5%AE%9E%E6%97%B6%E5%87%86%E7%A1%AE%E7%9A%84%E5%90%91%E7%94%A8%E6%88%B7%E6%8E%A8%E9%80%81%E6%96%B0%E4%B8%8A%E6%88%BF%E6%BA%90/ Tue, 15 Mar 2022 09:05:14 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%B4%9D%E5%A3%B3%E6%89%BE%E6%88%BF%E5%A4%8D%E6%9D%82%E8%AE%A2%E9%98%85%E6%9D%A1%E4%BB%B6%E4%B8%8B%E5%A6%82%E4%BD%95%E5%AE%9E%E6%97%B6%E5%87%86%E7%A1%AE%E7%9A%84%E5%90%91%E7%94%A8%E6%88%B7%E6%8E%A8%E9%80%81%E6%96%B0%E4%B8%8A%E6%88%BF%E6%BA%90/ 卫海波@贝壳找房 贝壳产品技术 贝壳找房APP给用户提供了海量房源的搜索查询功能，但是网站存量房源并不能完全满足用户的找房需求，用户希望可以及时获取新上房源的实时提醒。目前贝壳找房APP提供的房源新上实时推送有两个维度：基于关注小区的房源新上和基于搜索订阅条件的房源新上。 基于关注小区 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%90%8C%E5%9F%8E%E5%9F%BA%E4%BA%8E%E6%9E%84%E5%BB%BA%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 09:03:21 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%90%8C%E5%9F%8E%E5%9F%BA%E4%BA%8E%E6%9E%84%E5%BB%BA%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E5%AE%9E%E8%B7%B5/ 导读 随着公司用户增长业务快速发展，陆续孵化出 部落、同镇、C 端会员、游戏等非常多的业务板块。与此同时产品及运营对实时数据需求逐渐增多，帮助他们更快的做出决策，更好的进行产品迭代，实时数仓的建设变得越发重要起来。本文主要介绍用户增长业务基于 Flink 构建实时数仓的实践之路。 实时数仓1.0介绍 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%BD%91%E6%98%93%E4%BA%91%E9%9F%B3%E4%B9%90%E5%9F%BA%E4%BA%8E%E7%9A%84%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E5%BB%BA%E8%AE%BE%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 09:02:59 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%BD%91%E6%98%93%E4%BA%91%E9%9F%B3%E4%B9%90%E5%9F%BA%E4%BA%8E%E7%9A%84%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E5%BB%BA%E8%AE%BE%E5%AE%9E%E8%B7%B5/ 简介： 本文由网易云音乐实时计算平台研发工程师岳猛分享，主要从以下四个部分将为大家介绍 Flink + Kafka 在网易云音乐的应用实战： 背景、Flink + Kafka 平台化设计、Kafka 在实时数仓中的应用、问题 & 改进。 简介：本文由网易云音乐实时计算平台研发工程师岳猛分享，主要从以下四个部分将为大家介绍 Flink + Kafka 在 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%AE%9E%E6%88%98%E7%BB%93%E5%90%88%E6%9E%84%E5%BB%BA%E7%AB%AF%E5%88%B0%E7%AB%AF%E7%9A%84%E5%A4%84%E7%90%86%E7%A8%8B%E5%BA%8F/ Tue, 15 Mar 2022 09:02:36 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%AE%9E%E6%88%98%E7%BB%93%E5%90%88%E6%9E%84%E5%BB%BA%E7%AB%AF%E5%88%B0%E7%AB%AF%E7%9A%84%E5%A4%84%E7%90%86%E7%A8%8B%E5%BA%8F/ 原文地址： https://my.oschina.net/u/992559/blog/1819948 作者： moyiguke 前言 在消息处理过程中，除了Flink程序本身的逻辑（operator），我们还需要和外部系统进行交互，例如本地磁盘文件，HDFS，Kafka，Mysql等。虽然Flink本身支持Exactly-Once语义，但是对于完整的数据处理系统来说，最终呈现出来的语义和 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%8F%9C%E9%B8%9F%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E6%8A%80%E6%9C%AF%E6%9E%B6%E6%9E%84%E6%BC%94%E8%BF%9B/ Tue, 15 Mar 2022 09:02:34 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%8F%9C%E9%B8%9F%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E6%8A%80%E6%9C%AF%E6%9E%B6%E6%9E%84%E6%BC%94%E8%BF%9B/ 分享嘉宾：贾元乔 菜鸟 高级数据技术专家 编辑整理：夏飞飞 内容来源：Flink Forward ASIA 出品平台：DataFunTalk 导读： 在开源盛世的今天，实时数仓的建设已经有了较为成熟的方案，技术选型上也都各有优劣。菜鸟作为物流供应链的主力军，时效要求已经成为了核心竞争力，离线数仓已不能满足发展的需要 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%BD%91%E6%98%93%E4%BA%91%E9%9F%B3%E4%B9%90%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E8%BF%9B%E9%98%B6%E4%B9%8B%E8%B7%AF/ Tue, 15 Mar 2022 09:02:32 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%BD%91%E6%98%93%E4%BA%91%E9%9F%B3%E4%B9%90%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E8%BF%9B%E9%98%B6%E4%B9%8B%E8%B7%AF/ 导读：本篇文章是[ 2021年网易云音乐实时计算平台发展和挑战]的姊妹篇，由网易云音乐数据平台开发专家大愚分享，为大家介绍云音乐实时数仓技术改造以及未来的一些规划。 云音乐从2018年开始搭建实时计算平台，经过两年的发展实时计算已经渗透到云音乐的各个业务当中： 运营需要实时的统计报表做 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%94%AF%E5%93%81%E4%BC%9A%E5%9C%A8%E5%AE%B9%E5%99%A8%E5%8C%96%E4%B8%8E%E5%B9%B3%E5%8F%B0%E5%8C%96%E4%B8%8A%E7%9A%84%E5%BB%BA%E8%AE%BE%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 09:02:31 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%94%AF%E5%93%81%E4%BC%9A%E5%9C%A8%E5%AE%B9%E5%99%A8%E5%8C%96%E4%B8%8E%E5%B9%B3%E5%8F%B0%E5%8C%96%E4%B8%8A%E7%9A%84%E5%BB%BA%E8%AE%BE%E5%AE%9E%E8%B7%B5/ 以下文章来源于dbaplus社群 ，作者王康 摘要： 自 2017 年起，为保障内部业务在平时和大促期间的平稳运行，唯品会就开始基于 Kubernetes 深入打造高性能、稳定、可靠、易用的实时计算平台，现在的平台支持 Flink、Spark、Storm 等主流框架。本文将分为五个方面，分享唯品会 Flink 的容器化实践应用以及产 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%94%9F%E4%BA%A7%E5%AE%9E%E8%B7%B5%E7%9B%B4%E6%92%AD%E4%BA%8C%E5%A6%82%E4%BD%95%E5%BB%BA%E8%AE%BE%E5%AE%9E%E6%97%B6%E5%85%AC%E5%85%B1%E7%94%BB%E5%83%8F%E7%BB%B4%E8%A1%A8/ Tue, 15 Mar 2022 09:02:19 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%94%9F%E4%BA%A7%E5%AE%9E%E8%B7%B5%E7%9B%B4%E6%92%AD%E4%BA%8C%E5%A6%82%E4%BD%95%E5%BB%BA%E8%AE%BE%E5%AE%9E%E6%97%B6%E5%85%AC%E5%85%B1%E7%94%BB%E5%83%8F%E7%BB%B4%E8%A1%A8/ 注：本文经授权转载自 mangodata YangYichao 转载请关注作者公众号联系原作者 ❝本系列每篇文章都是从一些实际生产实践需求出发，解决一些生产实践中的问题，抛砖引玉，以帮助小伙伴们解决一些实际生产问题。本篇为直播实时数据建设系列的第二篇，本篇主要介绍直播间画像实时维表建设的整个过程，如果对小伙伴有帮助的话， https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%A6%82%E4%BD%95%E5%9F%BA%E4%BA%8E%E7%94%9F%E6%88%90%E5%9C%A8%E7%BA%BF%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E7%9A%84%E6%A0%B7%E6%9C%AC/ Tue, 15 Mar 2022 09:02:18 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%A6%82%E4%BD%95%E5%9F%BA%E4%BA%8E%E7%94%9F%E6%88%90%E5%9C%A8%E7%BA%BF%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E7%9A%84%E6%A0%B7%E6%9C%AC/ 文章作者：曹富强@微博 内容来源：Flink中文社区 导读： 在线机器学习与离线相比，在模型更新的时效性，模型的迭代周期，业务实验效果等方面有更好的表现。所以将机器学习从离线迁移到在线已经成为提升业务指标的一个有效的手段。在线机器学习中，样本是关键的一环。本文将给大家详细的介绍微博是如 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%BE%AE%E5%8D%9A%E5%9F%BA%E4%BA%8E%E7%9A%84%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 09:02:14 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%BE%AE%E5%8D%9A%E5%9F%BA%E4%BA%8E%E7%9A%84%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E5%AE%9E%E8%B7%B5/ 分享嘉宾：于茜 微博 高级算法工程师 编辑整理：王洪达 内容来源：Flink Forward 导读： 微博作为国内比较主流的社交媒体平台，目前拥有2.22亿日活用户和5.16亿月活用户。如何为用户实时推荐优质内容，背后离不开微博的大规模机器学习平台。本文由微博机器学习研发中心高级算法工程师于茜老师分享，主 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%94%9F%E4%BA%A7%E5%AE%9E%E8%B7%B5%E5%9F%BA%E4%BA%8E%E7%9A%84%E7%9B%B4%E6%92%AD%E5%AE%9E%E6%97%B6%E6%95%B0%E6%8D%AE%E5%BB%BA%E8%AE%BE%E4%B8%80%E9%9C%80%E6%B1%82%E5%92%8C%E6%9E%B6%E6%9E%84%E7%AF%87/ Tue, 15 Mar 2022 08:59:53 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%94%9F%E4%BA%A7%E5%AE%9E%E8%B7%B5%E5%9F%BA%E4%BA%8E%E7%9A%84%E7%9B%B4%E6%92%AD%E5%AE%9E%E6%97%B6%E6%95%B0%E6%8D%AE%E5%BB%BA%E8%AE%BE%E4%B8%80%E9%9C%80%E6%B1%82%E5%92%8C%E6%9E%B6%E6%9E%84%E7%AF%87/ 注：本文经授权转载自 mangodata YangYichao 转载请关注作者公众号联系原作者 ❝本系列每篇文章都是从一些实际生产实践需求出发，解决一些生产实践中的问题，抛砖引玉，以帮助小伙伴们解决一些实际生产问题。相信大家或多或少都观看过直播，那大家有没有想过，如果自己负责建设公司内整体直播实时数据，会怎样去建设呢？本 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%98%BF%E9%87%8C%E6%B5%81%E8%AE%A1%E7%AE%97%E5%BC%95%E6%93%8E%E6%95%B0%E6%8D%AE%E4%B8%80%E8%87%B4%E6%80%A7%E7%9A%84%E6%9C%AC%E8%B4%A8/ Tue, 15 Mar 2022 08:59:39 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%98%BF%E9%87%8C%E6%B5%81%E8%AE%A1%E7%AE%97%E5%BC%95%E6%93%8E%E6%95%B0%E6%8D%AE%E4%B8%80%E8%87%B4%E6%80%A7%E7%9A%84%E6%9C%AC%E8%B4%A8/ 作者 | 齐光 阿里云云栖号 微信号 yunqiinsight 流计算的应用与实践在大数据领域越来越常见，其重要性不言而喻，常见的流计算引擎有 Google DataFlow、Apache Flink，Apache Kafka Streams，Apache Spark Streaming 等。流计算系统中的数据一致性一般是用消息处理语义来定义的，如某引擎声称可以提供「恰 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%B1%BD%E8%BD%A6%E4%B9%8B%E5%AE%B6%E6%B9%96%E4%BB%93%E4%B8%80%E4%BD%93%E6%9E%B6%E6%9E%84%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 08:59:36 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%B1%BD%E8%BD%A6%E4%B9%8B%E5%AE%B6%E6%B9%96%E4%BB%93%E4%B8%80%E4%BD%93%E6%9E%B6%E6%9E%84%E5%AE%9E%E8%B7%B5/ 分享嘉宾：邸星星@汽车之家 编辑整理：DataFun、Flink中文社区 导读： 本文将介绍如何基于Apache Iceberg构建湖仓一体架构，将数据可见性提升至分钟级；从多维分析的角度来探讨引入Apache Iceberg带来的收益，以及未来还有哪些收益可以期待。 01 数据仓库架构升级的背 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9C%A8%E6%9C%89%E8%B5%9E%E7%9A%84%E5%AE%9E%E8%B7%B5%E5%92%8C%E5%BA%94%E7%94%A8/ Tue, 15 Mar 2022 08:58:48 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9C%A8%E6%9C%89%E8%B5%9E%E7%9A%84%E5%AE%9E%E8%B7%B5%E5%92%8C%E5%BA%94%E7%94%A8/ 沈磊@有赞 Flink 中文社区 摘要： 今天主要分享的内容是 Flink 在有赞的实践和应用。 一、Flink 的容器化改造和实践 1. 有赞的集群演进历史 2014 年 7 月，第一个 Storm 任务正式上线； 2016 年，引入 Spark Streaming， 运行在 Hadoop Yarn； 2018 年，引入了 Flink，作业模式为 Flink on Yarn Per Job； 2020 年 6 月，实现了 100% Flink Jar 任务 K8s https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9F%BA%E4%BA%8E%E6%9E%84%E5%BB%BA%E4%BC%81%E4%B8%9A%E7%BA%A7%E5%AE%9E%E6%97%B6%E6%95%B0%E6%8D%AE%E6%B9%96/ Tue, 15 Mar 2022 08:58:48 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9F%BA%E4%BA%8E%E6%9E%84%E5%BB%BA%E4%BC%81%E4%B8%9A%E7%BA%A7%E5%AE%9E%E6%97%B6%E6%95%B0%E6%8D%AE%E6%B9%96/ Apache Flink 是大数据领域非常流行的流批统一的计算引擎，数据湖是顺应云时代发展潮流的新型技术架构。那么当 Apache Flink 遇见数据湖时，会碰撞出什么样的火花呢？本次分享主要包括以下核心内容： 数据湖的相关背景介绍； 经典业务场景介绍； 为什么选择 Apache Iceberg； 如何通过 Flink+Iceberg 实现流式入湖 社区未来规划工作。 视频回 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%A4%A7%E8%A7%84%E6%A8%A1%E5%B9%BF%E5%91%8A%E5%A4%84%E7%90%86%E5%AE%9E%E8%B7%B5%E5%92%8C%E8%BF%9B%E8%A1%8C%E5%AE%9E%E6%97%B6%E5%B9%BF%E5%91%8A%E4%BA%8B%E4%BB%B6%E5%A4%84%E7%90%86/ Tue, 15 Mar 2022 08:54:31 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%A4%A7%E8%A7%84%E6%A8%A1%E5%B9%BF%E5%91%8A%E5%A4%84%E7%90%86%E5%AE%9E%E8%B7%B5%E5%92%8C%E8%BF%9B%E8%A1%8C%E5%AE%9E%E6%97%B6%E5%B9%BF%E5%91%8A%E4%BA%8B%E4%BB%B6%E5%A4%84%E7%90%86/ 优步最近推出了一项新功能：UberEats 上的广告。这种新能力带来了 Uber 需要解决的新挑战，例如广告拍卖、竞标、归因、报告等系统。本文重点介绍我们如何利用开源技术构建 Uber 的第一个“近实时”恰好一次事件处理系统。我们将深入了解我们如何实现一次性处理以及事件处理作业的内部工作原理的细节。 对 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%94%A8%E5%8F%96%E4%BB%A3%E7%9F%A5%E4%B9%8E%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E6%9E%B6%E6%9E%84%E6%BC%94%E8%BF%9B/ Tue, 15 Mar 2022 03:10:20 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%94%A8%E5%8F%96%E4%BB%A3%E7%9F%A5%E4%B9%8E%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E6%9E%B6%E6%9E%84%E6%BC%94%E8%BF%9B/ “数据智能” (Data Intelligence) 有一个必须且基础的环节，就是数据仓库的建设，同时，数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务。从智能商业的角度来讲，数据的结果代表了用户的反馈，获取结果的及时性就显得尤为重要，快速的获取数据反馈能够帮助公司更快的做出决策，更好的进行产品迭代，实时 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9B%9E%E9%A1%BE%E8%9A%82%E8%9A%81%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90%E5%B9%B3%E5%8F%B0%E7%9A%84%E6%BC%94%E8%BF%9B%E5%8F%8A%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90%E6%96%B9%E6%B3%95%E7%9A%84%E5%BA%94%E7%94%A8/ Tue, 15 Mar 2022 01:27:16 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9B%9E%E9%A1%BE%E8%9A%82%E8%9A%81%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90%E5%B9%B3%E5%8F%B0%E7%9A%84%E6%BC%94%E8%BF%9B%E5%8F%8A%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90%E6%96%B9%E6%B3%95%E7%9A%84%E5%BA%94%E7%94%A8/ 分享嘉宾： 杨军 蚂蚁金服 高级技术专家 编辑整理： 兴金朝 内容来源：DataFun Talk《数据分析平台：平台演进及数据分析方法应用》 出品社区： DataFun 注：文末附有蚂蚁金服的内推信息，感兴趣的小伙伴可以关注下。 大家好，今天主要分享数据分析平台的平台演进以及我们在上面沉淀的一些数据分析方法是如何 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%B4%9D%E5%A3%B3%E6%89%BE%E6%88%BF%E8%BF%90%E7%BB%B4%E4%BD%93%E7%B3%BB%E5%9C%A8%E8%B4%9D%E5%A3%B3%E7%9A%84%E5%AE%9E%E8%B7%B5/ Mon, 14 Mar 2022 21:00:04 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%B4%9D%E5%A3%B3%E6%89%BE%E6%88%BF%E8%BF%90%E7%BB%B4%E4%BD%93%E7%B3%BB%E5%9C%A8%E8%B4%9D%E5%A3%B3%E7%9A%84%E5%AE%9E%E8%B7%B5/ 来源： 何巨放 贝壳找房 稿 1. 背景 Flink作为新一代的实时计算引擎在贝壳越来越多的应用场景下被应用，比如实时指标、实时ETL、实时监控等。目前贝壳内部线上运行中Flink任务已经超过4K，日均处理数据量万亿级。如何提升大规模Flink任务的稳定性、资源利用率、运维效率是一个有挑战的问 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%B1%A4%E6%A5%9A%E7%86%99%E7%BE%8E%E5%9B%A2%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E6%9E%B6%E6%9E%84%E6%BC%94%E8%BF%9B%E4%B8%8E%E5%BB%BA%E8%AE%BE%E5%AE%9E%E8%B7%B5/ Mon, 14 Mar 2022 20:59:44 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%B1%A4%E6%A5%9A%E7%86%99%E7%BE%8E%E5%9B%A2%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E6%9E%B6%E6%9E%84%E6%BC%94%E8%BF%9B%E4%B8%8E%E5%BB%BA%E8%AE%BE%E5%AE%9E%E8%B7%B5/ 分享嘉宾：汤楚熙 美团 编辑整理：李瑶 DataFun 出品平台：DataFunTalk 导读： 大家好，我叫汤楚熙，来自美团数据平台中心的计算平台团队，当前主要工作内容是实时数仓平台的研发。今天和大家分享一下实时数据在美团的典型应用场景，实时数仓建设中的挑战和解决方案，包括一些关键的设计细节。主要介绍 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%BE%8E%E5%9B%A2%E5%A4%A7%E4%BD%9C%E4%B8%9A%E9%83%A8%E7%BD%B2%E4%B8%8E%E7%8A%B6%E6%80%81%E7%A8%B3%E5%AE%9A%E6%80%A7%E4%BC%98%E5%8C%96%E5%AE%9E%E8%B7%B5/ Mon, 14 Mar 2022 20:59:32 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%BE%8E%E5%9B%A2%E5%A4%A7%E4%BD%9C%E4%B8%9A%E9%83%A8%E7%BD%B2%E4%B8%8E%E7%8A%B6%E6%80%81%E7%A8%B3%E5%AE%9A%E6%80%A7%E4%BC%98%E5%8C%96%E5%AE%9E%E8%B7%B5/ 摘要 ：本篇内容整理自美团数据平台工程师冯斐、王非凡在 Flink Forward Asia 2021 生产实践专场的演讲。主要内容包括： 一、相关背景 美团 Flink 的应用场景覆盖了社区定义的三种场景： 应用比较多的是数据管道场景，比如数仓 ODS 层数据的实时接入，或跨数据源的实时数据同步； 比较典型的应用场景是数据分析，比如实时数仓的建设和 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%B3%B0%E5%80%BC%E4%BA%BF%E7%A7%92%E5%9C%A8%E4%BA%AC%E4%B8%9C%E7%9A%84%E5%BA%94%E7%94%A8%E4%B8%8E%E4%BC%98%E5%8C%96%E5%AE%9E%E8%B7%B5/ Mon, 14 Mar 2022 18:10:21 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%B3%B0%E5%80%BC%E4%BA%BF%E7%A7%92%E5%9C%A8%E4%BA%AC%E4%B8%9C%E7%9A%84%E5%BA%94%E7%94%A8%E4%B8%8E%E4%BC%98%E5%8C%96%E5%AE%9E%E8%B7%B5/ 分享嘉宾：付海涛 京东 技术专家 编辑整理：苏文进 怪兽充电 出品平台：DataFunTalk 导读： Flink是目前流式处理领域的热门引擎，在实时数仓、实时风控、实时推荐等多个场景有着广泛的应用。京东于2018年开始基于Flink+k8s深入打造高性能、稳定、可靠、易用的实时计算平台，支撑 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%B9%B4%E8%BF%AD%E4%BB%A3%E6%AC%A1%E6%8A%96%E9%9F%B3%E5%9F%BA%E4%BA%8E%E7%9A%84%E5%AE%9E%E6%97%B6%E6%8E%A8%E8%8D%90%E7%B3%BB%E7%BB%9F%E6%BC%94%E8%BF%9B%E5%8E%86%E7%A8%8B/ Mon, 14 Mar 2022 17:46:33 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%B9%B4%E8%BF%AD%E4%BB%A3%E6%AC%A1%E6%8A%96%E9%9F%B3%E5%9F%BA%E4%BA%8E%E7%9A%84%E5%AE%9E%E6%97%B6%E6%8E%A8%E8%8D%90%E7%B3%BB%E7%BB%9F%E6%BC%94%E8%BF%9B%E5%8E%86%E7%A8%8B/ 以下文章来源于InfoQ ，作者郭文飞 摘要： 本文基于字节跳动推荐系统基础服务方向负责人郭文飞在 5 月 22 日 Apache Flink Meetup 分享的《Flink 在字节跳动推荐特征体系中的落地实践》整理 2021 年，字节跳动旗下产品总 MAU 已超过 19 亿。在以抖音、今日头条、西瓜视频等为代表的产品业务背景下，强大的推荐系统显得尤为重 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9C%A8%E5%BF%AB%E6%89%8B%E7%9A%84%E5%AE%9E%E8%B7%B5%E4%B8%8E%E5%88%9B%E6%96%B0/ Mon, 14 Mar 2022 17:45:30 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9C%A8%E5%BF%AB%E6%89%8B%E7%9A%84%E5%AE%9E%E8%B7%B5%E4%B8%8E%E5%88%9B%E6%96%B0/ 摘要： 本文由快手大数据架构团队负责人赵健博分享，主要介绍 Apache Flink 在快手的过去、现在和未来。内容包括： 为什么选 Flink Flink 在快手的发展 业务数据流 技术创新 未来计划 一、为什么选 Flink 大家好，我是赵健博，来自快手，目前负责快手大数据架构团队。今天很高兴可以和大家分享我们在 Flink 项目上的应用、改进与发展历程。 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%B4%9D%E5%A3%B3%E5%9F%BA%E4%BA%8E%E7%9A%84%E5%AE%9E%E6%97%B6%E8%AE%A1%E7%AE%97%E6%BC%94%E8%BF%9B%E4%B9%8B%E8%B7%AF/ Mon, 14 Mar 2022 17:45:09 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%B4%9D%E5%A3%B3%E5%9F%BA%E4%BA%8E%E7%9A%84%E5%AE%9E%E6%97%B6%E8%AE%A1%E7%AE%97%E6%BC%94%E8%BF%9B%E4%B9%8B%E8%B7%AF/ 分享嘉宾： 刘力云@贝壳找房 内容来源： Flink中文社区 摘要： 贝壳找房大数据平台实时计算负责人刘力云带来的分享内容是贝壳找房的实时计算演进之路，内容如下： 发展历程 平台建设 实时数仓及其应用场景 事件驱动场景 未来规划 一、发展历程 首先是平台的发展历程。最早是因为业务方在实时计算方面有比较多 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9C%A8%E5%8E%BB%E5%93%AA%E5%84%BF%E7%9A%84%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E5%AE%9E%E8%B7%B5/ Mon, 14 Mar 2022 17:26:16 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9C%A8%E5%8E%BB%E5%93%AA%E5%84%BF%E7%9A%84%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E5%AE%9E%E8%B7%B5/ 一、背景及痛点 1. 背景 我们在使用 Flink 做实时数仓以及数据传输过程中，遇到了一些问题：比如 Kafka 数据丢失，Flink 结合 Hive 的近实时数仓性能等。Iceberg 0.11 的新特性解决了这些业务场景碰到的问题。对比 Kafka 来说，Iceberg 在某些特定场景有自己的优势，在此我们做了一些基于 Iceberg 的实践分享。 2. 原架构 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%B5%81%E9%87%8F%E6%8E%A7%E5%88%B6%E4%B8%8E%E5%8F%8D%E5%8E%8B%E6%9C%BA%E5%88%B6%E5%AE%8C%E5%85%A8%E6%80%BB%E7%BB%93/ Mon, 14 Mar 2022 17:26:16 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%B5%81%E9%87%8F%E6%8E%A7%E5%88%B6%E4%B8%8E%E5%8F%8D%E5%8E%8B%E6%9C%BA%E5%88%B6%E5%AE%8C%E5%85%A8%E6%80%BB%E7%BB%93/ 来源： Flink 前言 笔者最近回顾自己对Flink技术栈细节的理解，发现对Flink的网络栈、流控与反压这一套机制存在比较大的盲区。虽然平时多次处理过作业反压的问题，但是不完全理解背后的实现显然说不过去。于是专门写一篇总结，站在大佬们的肩膀上彻底搞清楚Flink是怎么做流控与处理反压的。 F https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E4%BC%B4%E9%B1%BC%E5%80%9F%E5%8A%A9%E5%AE%8C%E6%88%90%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E7%89%B9%E5%BE%81%E7%B3%BB%E7%BB%9F%E7%9A%84%E5%8D%87%E7%BA%A7/ Mon, 14 Mar 2022 17:26:13 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E4%BC%B4%E9%B1%BC%E5%80%9F%E5%8A%A9%E5%AE%8C%E6%88%90%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E7%89%B9%E5%BE%81%E7%B3%BB%E7%BB%9F%E7%9A%84%E5%8D%87%E7%BA%A7/ 作者：陈易生 原文： https://tech.ipalfish.com/blog/2021/07/30/palfish-feature-system/ 摘要： 本文作者陈易生，介绍了伴鱼平台机器学习特征系统的升级，在架构上，从 Spark 转为 Flink，解决了特征上线难的问题，以及 SQL + Python UDF 如何用于生产实践。 一、前言 在伴鱼，我们在多个在线场景使用机器学习提高用户的使用体验，例如：在伴鱼绘本中，我们根据用户的帖子浏览记录，为 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E4%BC%B4%E9%B1%BC%E5%9F%BA%E4%BA%8E%E6%9E%84%E5%BB%BA%E6%95%B0%E6%8D%AE%E9%9B%86%E6%88%90%E5%B9%B3%E5%8F%B0%E7%9A%84%E8%AE%BE%E8%AE%A1%E4%B8%8E%E5%AE%9E%E7%8E%B0/ Mon, 14 Mar 2022 16:40:37 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E4%BC%B4%E9%B1%BC%E5%9F%BA%E4%BA%8E%E6%9E%84%E5%BB%BA%E6%95%B0%E6%8D%AE%E9%9B%86%E6%88%90%E5%B9%B3%E5%8F%B0%E7%9A%84%E8%AE%BE%E8%AE%A1%E4%B8%8E%E5%AE%9E%E7%8E%B0/ A data warehouse is a subject-oriented, integrated, nonvolatile, and time-variant collection of data in support of management’s decisions. —— Bill Inmon 一、数据集成 VS 数据同步 「数据集成」往往和「数据同步」在概念上存在一定的混淆，为此我们对这二者进行了区分： 「数据集成」 特指面向数据仓库 ODS 层的数据同步过程； 「数据同步」 面向的是一般化的 Source 到 Sink 的数据传输过程。 二者的关系如 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%98%BF%E9%87%8C%E6%8A%80%E6%9C%AF%E5%8F%8C%E5%AE%9E%E6%97%B6%E7%89%A9%E6%B5%81%E8%AE%A2%E5%8D%95%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5/ Mon, 14 Mar 2022 16:40:36 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%98%BF%E9%87%8C%E6%8A%80%E6%9C%AF%E5%8F%8C%E5%AE%9E%E6%97%B6%E7%89%A9%E6%B5%81%E8%AE%A2%E5%8D%95%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5/ 随着双11的开启，物流业也迎来了年度大考。2021年双11期间，递四方作为物流仓储服务方，布局仓库和分拣点超40+个，50w+平米作业场地，单日订单峰值达千万级别，海量购物订单由递四方配送到家，消费者由尾款人秒变收货人。 一 业务介绍 递四方成立于2004年，创业在深圳，是国内最早的国 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%B1%BD%E8%BD%A6%E4%B9%8B%E5%AE%B6%E5%9F%BA%E4%BA%8E%E7%9A%84%E5%AE%9E%E6%97%B6%E8%AE%A1%E7%AE%97%E5%B9%B3%E5%8F%B0%E5%BB%BA%E8%AE%BE%E5%AE%9E%E8%B7%B5/ Mon, 14 Mar 2022 16:39:47 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%B1%BD%E8%BD%A6%E4%B9%8B%E5%AE%B6%E5%9F%BA%E4%BA%8E%E7%9A%84%E5%AE%9E%E6%97%B6%E8%AE%A1%E7%AE%97%E5%B9%B3%E5%8F%B0%E5%BB%BA%E8%AE%BE%E5%AE%9E%E8%B7%B5/ 作者： 邸星星 摘要：本文整理自汽车之家实时计算平台负责人邸星星在 Flink Forward Asia 2021 平台建设专场的演讲。主要内容包括： 一、应用场景 我们的应用场景与其他公司很类似，涵盖了实时指标统计、监控预警、实时数据处理、实时用户行为、实时入湖、实时数据传输这几个方面： 实施指标统计包括实时的流量分析、车展大屏