https://index.zshipu.com/geek/tags/%E6%95%B0%E6%8D%AE%E5%B9%B3%E5%8F%B0/ Recent content in 数据平台 on 知识铺的博客 Hugo -- gohugo.io zh-CN Tue, 15 Mar 2022 11:15:24 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%BD%91%E6%98%93%E4%BA%91%E9%9F%B3%E4%B9%90%E6%95%B0%E6%8D%AE%E6%9C%8D%E5%8A%A1%E4%B9%8B%E8%B7%AF/ Tue, 15 Mar 2022 11:15:24 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%BD%91%E6%98%93%E4%BA%91%E9%9F%B3%E4%B9%90%E6%95%B0%E6%8D%AE%E6%9C%8D%E5%8A%A1%E4%B9%8B%E8%B7%AF/ 大数据平台 网易有数 数据服务作为统一数据中台建设的最上层，能够将数据仓库数据以服务化、接口化的方式提供给数据使用方，屏蔽底层数据存储、计算的诸多细节，简化和加强数据的使用；同时避免烟囱式建设、加强数据API的开发和交付效率，提升数据利用率。云音乐数据团队与网易有数进行了数据服务平台 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%B4%9D%E5%A3%B3%E6%89%BE%E6%88%BF%E9%9D%A2%E5%90%91%E6%8A%80%E6%9C%AF%E7%9A%84%E8%B4%9D%E5%A3%B3%E4%B8%80%E7%AB%99%E5%BC%8F%E5%A4%A7%E6%95%B0%E6%8D%AE%E5%BC%80%E5%8F%91%E5%B9%B3%E5%8F%B0%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 10:00:08 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%B4%9D%E5%A3%B3%E6%89%BE%E6%88%BF%E9%9D%A2%E5%90%91%E6%8A%80%E6%9C%AF%E7%9A%84%E8%B4%9D%E5%A3%B3%E4%B8%80%E7%AB%99%E5%BC%8F%E5%A4%A7%E6%95%B0%E6%8D%AE%E5%BC%80%E5%8F%91%E5%B9%B3%E5%8F%B0%E5%AE%9E%E8%B7%B5/ 仰宗强@贝壳找房 本文根据贝壳找房资深工程师仰宗强老师在2020年"面向AI技术的工程架构实践"大会上的演讲速记整理而成。 1 开场 大家下午好,很荣幸来到这跟大家一起分享贝壳一站式大数据开发平台的落地实践。今天的分享主要分为以下四个部分： 贝壳的数据业务背景。 数据开发 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%BD%91%E6%98%93%E4%BA%91%E9%9F%B3%E4%B9%90%E5%A4%A7%E4%BB%BB%E5%8A%A1%E4%BC%98%E5%8C%96%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 09:13:25 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%BD%91%E6%98%93%E4%BA%91%E9%9F%B3%E4%B9%90%E5%A4%A7%E4%BB%BB%E5%8A%A1%E4%BC%98%E5%8C%96%E5%AE%9E%E8%B7%B5/ 导读： 最近接了一个大flow优化任务，这个任务是用来做新用户的归属，属于比较重要的任务，但是任务产出时间比较晚，一般要到15点之后才能完成，非常影响数据分析。和这个任务有关联的flow有4个，主flow有67个节点和其他flow加在一起超过了100+节点。 Flow优化过程包括： 长 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%95%B0%E6%8D%AE%E5%BA%93%E6%95%B0%E6%8D%AE%E4%BB%93%E5%BA%93%E5%A4%A7%E6%95%B0%E6%8D%AE%E5%B9%B3%E5%8F%B0%E6%95%B0%E6%8D%AE%E4%B8%AD%E5%8F%B0%E6%95%B0%E6%8D%AE%E6%B9%96%E5%AF%B9%E6%AF%94%E5%88%86%E6%9E%90/ Tue, 15 Mar 2022 09:06:27 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%95%B0%E6%8D%AE%E5%BA%93%E6%95%B0%E6%8D%AE%E4%BB%93%E5%BA%93%E5%A4%A7%E6%95%B0%E6%8D%AE%E5%B9%B3%E5%8F%B0%E6%95%B0%E6%8D%AE%E4%B8%AD%E5%8F%B0%E6%95%B0%E6%8D%AE%E6%B9%96%E5%AF%B9%E6%AF%94%E5%88%86%E6%9E%90/ 作者：西贝 大数据技术与数仓 写在前面 层出不穷的新技术、新概念、新应用往往会对初学者造成很大的困扰，有时候很难理清楚它们之间的区别与联系。本文将以数据研发相关领域为例，对比分析我们工作中高频出现的几个名词，主要包括以下几个方面： 数据 什么是大数据 麦肯锡全球研究所给出的定义是：一种规模大 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%9F%A5%E4%B9%8E%E6%95%B0%E6%8D%AE%E9%9B%86%E6%88%90%E5%B9%B3%E5%8F%B0%E5%BB%BA%E8%AE%BE%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 09:06:20 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%9F%A5%E4%B9%8E%E6%95%B0%E6%8D%AE%E9%9B%86%E6%88%90%E5%B9%B3%E5%8F%B0%E5%BB%BA%E8%AE%BE%E5%AE%9E%E8%B7%B5/ 分享嘉宾：孙晓光 知乎 技术平台负责人 内容来源：Flink中文社区 摘要： 本文由知乎技术平台负责人孙晓光分享，主要介绍知乎 Flink 数据集成平台建设实践。内容如下： 业务场景 历史设计 全面转向 Flink 后的设计 未来 Flink 应用场景的规划 01 业务场景 很高兴和大家分享近期 知乎以 Flink 为基础，重构上一代数据集成平台 过程中的 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%8B%8F%E5%AE%81%E8%8B%8F%E5%AE%81%E5%A4%A7%E6%95%B0%E6%8D%AE%E7%A6%BB%E7%BA%BF%E4%BB%BB%E5%8A%A1%E5%BC%80%E5%8F%91%E8%B0%83%E5%BA%A6%E5%B9%B3%E5%8F%B0%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 09:02:35 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%8B%8F%E5%AE%81%E8%8B%8F%E5%AE%81%E5%A4%A7%E6%95%B0%E6%8D%AE%E7%A6%BB%E7%BA%BF%E4%BB%BB%E5%8A%A1%E5%BC%80%E5%8F%91%E8%B0%83%E5%BA%A6%E5%B9%B3%E5%8F%B0%E5%AE%9E%E8%B7%B5/ 桑强 2018 年 11 月 5 日 目录 背景 2 设计目标 2 2.1 用户交互的产品功能 2 2.2 后台调度功能 3 2.3 任务执行器功能 4 2.4 任务运维功能 5 2.5 平台对外功能 6 平台价值 7 平台建设 7 4.1 用户功能实现说明 8 4.2 调度周期设计说明 12 4.3 调度策略设计说明 13 4.4 调度流控设计说明 15 4.5 系统高可用设计说明 16 4.6 任务失败策略 17 4.7 任务运行分析设计 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%9D%A2%E5%90%91%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E6%95%B0%E6%8D%AE%E5%B9%B3%E5%8F%B0%E7%9A%84%E8%AE%BE%E8%AE%A1%E4%B8%8E%E6%90%AD%E5%BB%BA/ Tue, 15 Mar 2022 06:59:48 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%9D%A2%E5%90%91%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E6%95%B0%E6%8D%AE%E5%B9%B3%E5%8F%B0%E7%9A%84%E8%AE%BE%E8%AE%A1%E4%B8%8E%E6%90%AD%E5%BB%BA/ 机器学习作为近几年的一项热门技术，不仅凭借众多“人工智能”产品而为人所熟知，更是从根本上增能了传统的互联网产品。在近期举办的2018 ArchSummit全球架构师峰会上，个推首席数据架构师袁凯，基于他在数据平台的建设以及数据产品研发的多年经验，分享了《面向机器学习数据平台的设计与 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%BD%91%E6%98%93%E8%BF%81%E7%A7%BB%E5%9C%A8%E7%BD%91%E6%98%93%E4%BC%A0%E5%AA%92%E7%9A%84%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 03:08:05 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%BD%91%E6%98%93%E8%BF%81%E7%A7%BB%E5%9C%A8%E7%BD%91%E6%98%93%E4%BC%A0%E5%AA%92%E7%9A%84%E5%AE%9E%E8%B7%B5/ 作者： 易同学 引言：把基于mapreduce的离线hiveSQL任务迁移到sparkSQL，不但能大幅缩短任务运行时间，还能节省不少计算资源。最近我们也把组内2000左右的hivesql任务迁移到了sparkSQL，这里做个简单的记录和分享，本文偏重于具体条件下的方案选择。 迁移背景 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%B5%B5%E6%B5%B7%E6%BA%90%E5%B3%B0%E5%80%BC%E8%B6%85%E4%BA%BF%E7%A7%92%E5%9C%A8%E7%BE%8E%E5%9B%A2%E6%95%B0%E6%8D%AE%E5%B9%B3%E5%8F%B0%E7%9A%84%E5%AE%9E%E8%B7%B5/ Mon, 14 Mar 2022 16:42:17 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%B5%B5%E6%B5%B7%E6%BA%90%E5%B3%B0%E5%80%BC%E8%B6%85%E4%BA%BF%E7%A7%92%E5%9C%A8%E7%BE%8E%E5%9B%A2%E6%95%B0%E6%8D%AE%E5%B9%B3%E5%8F%B0%E7%9A%84%E5%AE%9E%E8%B7%B5/ 分享嘉宾：赵海源 美团 流存储工程师 编辑整理：刘明 慕华信息科技 出品平台：DataFunTalk 导读： 本文将介绍Kafka在美团数据平台的实践，主要内容包括：① Kafka在美团数据平台的发展现状和面临的挑战，主要是海量数据下如何保证读写延迟的问题，以及大规模的集群管理与优化；② 面对上述 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E4%BC%B4%E9%B1%BC%E5%9F%BA%E4%BA%8E%E6%9E%84%E5%BB%BA%E6%95%B0%E6%8D%AE%E9%9B%86%E6%88%90%E5%B9%B3%E5%8F%B0%E7%9A%84%E8%AE%BE%E8%AE%A1%E4%B8%8E%E5%AE%9E%E7%8E%B0/ Mon, 14 Mar 2022 16:40:37 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E4%BC%B4%E9%B1%BC%E5%9F%BA%E4%BA%8E%E6%9E%84%E5%BB%BA%E6%95%B0%E6%8D%AE%E9%9B%86%E6%88%90%E5%B9%B3%E5%8F%B0%E7%9A%84%E8%AE%BE%E8%AE%A1%E4%B8%8E%E5%AE%9E%E7%8E%B0/ A data warehouse is a subject-oriented, integrated, nonvolatile, and time-variant collection of data in support of management’s decisions. —— Bill Inmon 一、数据集成 VS 数据同步 「数据集成」往往和「数据同步」在概念上存在一定的混淆，为此我们对这二者进行了区分： 「数据集成」 特指面向数据仓库 ODS 层的数据同步过程； 「数据同步」 面向的是一般化的 Source 到 Sink 的数据传输过程。 二者的关系如