https://index.zshipu.com/geek/tags/Iceberg/ Recent content in Iceberg on 知识铺的博客 Hugo -- gohugo.io zh-CN Tue, 15 Mar 2022 10:10:57 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%AF%B9%E8%B1%A1%E5%AD%98%E5%82%A8%E6%9E%84%E5%BB%BA%E6%95%B0%E6%8D%AE%E6%B9%96%E6%96%B9%E6%A1%88/ Tue, 15 Mar 2022 10:10:57 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%AF%B9%E8%B1%A1%E5%AD%98%E5%82%A8%E6%9E%84%E5%BB%BA%E6%95%B0%E6%8D%AE%E6%B9%96%E6%96%B9%E6%A1%88/ 孙伟@Dell Flink 中文社区 摘要：本文整理自 Dell 科技集团高级软件研发经理孙伟在 4 月 17 日 上海站 Flink Meetup 分享的《Iceberg 和对象存储构建数据湖方案》。内容包括： 数据湖和 Iceberg 简介 未来规划 演示方案 存储优化的一些思考 一、数据湖和 Iceberg 简介 1. 数据湖生态 如上图所示，对于一个成熟的数据湖生态而言： 首先我们认 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%95%B0%E6%8D%AE%E6%B9%96%E7%9A%84%E4%BD%93%E9%AA%8C/ Tue, 15 Mar 2022 10:02:12 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%95%B0%E6%8D%AE%E6%B9%96%E7%9A%84%E4%BD%93%E9%AA%8C/ 以下文章来源于Flink 中文社区 ，作者余东@去哪儿 2021年加入Qunar，主要负责数据平台Flink的运维与平台开发。 本文导读 背景及特点 1. 背景 在使用 Flink 做实时数仓以及数据传输过程中，遇到了一些问题：比如 Kafka 数据丢失，Flink 结合 Hive 的近实时数仓性能等。Iceberg 0.11 的新特性解决了 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9F%BA%E4%BA%8E%E6%9E%84%E5%BB%BA%E4%BC%81%E4%B8%9A%E7%BA%A7%E5%AE%9E%E6%97%B6%E6%95%B0%E6%8D%AE%E6%B9%96/ Tue, 15 Mar 2022 08:58:48 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9F%BA%E4%BA%8E%E6%9E%84%E5%BB%BA%E4%BC%81%E4%B8%9A%E7%BA%A7%E5%AE%9E%E6%97%B6%E6%95%B0%E6%8D%AE%E6%B9%96/ Apache Flink 是大数据领域非常流行的流批统一的计算引擎，数据湖是顺应云时代发展潮流的新型技术架构。那么当 Apache Flink 遇见数据湖时，会碰撞出什么样的火花呢？本次分享主要包括以下核心内容： 数据湖的相关背景介绍； 经典业务场景介绍； 为什么选择 Apache Iceberg； 如何通过 Flink+Iceberg 实现流式入湖 社区未来规划工作。 视频回 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9C%A8%E5%8E%BB%E5%93%AA%E5%84%BF%E7%9A%84%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E5%AE%9E%E8%B7%B5/ Mon, 14 Mar 2022 17:26:16 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9C%A8%E5%8E%BB%E5%93%AA%E5%84%BF%E7%9A%84%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E5%AE%9E%E8%B7%B5/ 一、背景及痛点 1. 背景 我们在使用 Flink 做实时数仓以及数据传输过程中，遇到了一些问题：比如 Kafka 数据丢失，Flink 结合 Hive 的近实时数仓性能等。Iceberg 0.11 的新特性解决了这些业务场景碰到的问题。对比 Kafka 来说，Iceberg 在某些特定场景有自己的优势，在此我们做了一些基于 Iceberg 的实践分享。 2. 原架构