https://index.zshipu.com/geek/tags/%E5%A4%A7%E6%95%B0%E6%8D%AE/ Recent content in 大数据 on 知识铺的博客 Hugo -- gohugo.io zh-CN Tue, 15 Mar 2022 11:15:24 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%BD%91%E6%98%93%E4%BA%91%E9%9F%B3%E4%B9%90%E6%95%B0%E6%8D%AE%E6%9C%8D%E5%8A%A1%E4%B9%8B%E8%B7%AF/ Tue, 15 Mar 2022 11:15:24 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%BD%91%E6%98%93%E4%BA%91%E9%9F%B3%E4%B9%90%E6%95%B0%E6%8D%AE%E6%9C%8D%E5%8A%A1%E4%B9%8B%E8%B7%AF/ 大数据平台 网易有数 数据服务作为统一数据中台建设的最上层，能够将数据仓库数据以服务化、接口化的方式提供给数据使用方，屏蔽底层数据存储、计算的诸多细节，简化和加强数据的使用；同时避免烟囱式建设、加强数据API的开发和交付效率，提升数据利用率。云音乐数据团队与网易有数进行了数据服务平台 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9F%BA%E4%BA%8E%E7%9A%84%E4%BC%98%E5%8C%96%E4%B8%8E%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 10:55:26 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9F%BA%E4%BA%8E%E7%9A%84%E4%BC%98%E5%8C%96%E4%B8%8E%E5%AE%9E%E8%B7%B5/ 分享嘉宾：周晖栋 bilibili 编辑整理：宋灵城 贝壳找房/东南大学 出品平台：DataFunTalk 导读： 本文主要介绍Flink实时计算在bilibili的优化，将从以下四个方面展开：① Flink-connector稳定性优化；② Flink sql优化；③ Flink-runtime优化；④ 对未来的展望。 01 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%A4%A7%E6%95%B0%E6%8D%AE%E7%A6%BB%E7%BA%BF%E8%AE%A1%E7%AE%97%E5%B9%B3%E5%8F%B0%E6%9E%B6%E6%9E%84%E6%BC%94%E8%BF%9B/ Tue, 15 Mar 2022 10:49:03 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%A4%A7%E6%95%B0%E6%8D%AE%E7%A6%BB%E7%BA%BF%E8%AE%A1%E7%AE%97%E5%B9%B3%E5%8F%B0%E6%9E%B6%E6%9E%84%E6%BC%94%E8%BF%9B/ 1 前言 OPPO的大数据离线计算发展，经历了哪些阶段？在生产中遇到哪些经典的大数据问题？我们是怎么解决的，从中有哪些架构上的升级演进？未来的OPPO离线平台有哪些方向规划？今天会给大家一一揭秘。 2 OPPO大数据离线计算发展历史 2.1 大数据行业发展阶段 一家公司的技术发展，离不开整个行业的 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%88%B1%E5%A5%87%E8%89%BA%E6%95%B0%E6%8D%AE%E4%B8%AD%E5%8F%B0%E7%9A%84%E5%BB%BA%E8%AE%BE%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 10:36:02 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%88%B1%E5%A5%87%E8%89%BA%E6%95%B0%E6%8D%AE%E4%B8%AD%E5%8F%B0%E7%9A%84%E5%BB%BA%E8%AE%BE%E5%AE%9E%E8%B7%B5/ 分享嘉宾：马金韬 爱奇艺 数据中台负责人 编辑整理：陈国梅 出品平台：DataFunTalk 导读： 随着市场对数据价值的认可，促进了数据在各行各业的爆发式增长，以及大数据设施的快速演化，同时也带来了不少新的数据问题；解决这些问题，发挥更大的数据价值，成为了各大公司的重点工作。爱奇艺通过数据 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%B5%81%E5%BC%8F%E6%95%B0%E6%8D%AE%E5%A4%84%E7%90%86%E5%9C%A8%E7%99%BE%E5%BA%A6%E6%95%B0%E6%8D%AE%E5%B7%A5%E5%8E%82%E7%9A%84%E5%BA%94%E7%94%A8%E4%B8%8E%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 10:32:21 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%B5%81%E5%BC%8F%E6%95%B0%E6%8D%AE%E5%A4%84%E7%90%86%E5%9C%A8%E7%99%BE%E5%BA%A6%E6%95%B0%E6%8D%AE%E5%B7%A5%E5%8E%82%E7%9A%84%E5%BA%94%E7%94%A8%E4%B8%8E%E5%AE%9E%E8%B7%B5/ 本文整理自百度李俊卿在 QCon 上的演讲：《流式数据处理在百度数据工厂的应用与实践》。 百度数据工厂最原先用 Hive 引擎，进行离线批量数据分析和 PB 级别的查询，处理一些核心报表数据。但是在我们推广过程中发现，用户其实还是有复杂分析、实时处理、数据挖掘的请求，我们在 Spark1.0 推出的时候，就开始跟进 Spark https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E4%BA%AC%E4%B8%9C%E4%BC%98%E5%8C%96%E4%B8%8E%E6%8A%80%E6%9C%AF%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 10:24:21 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E4%BA%AC%E4%B8%9C%E4%BC%98%E5%8C%96%E4%B8%8E%E6%8A%80%E6%9C%AF%E5%AE%9E%E8%B7%B5/ 分享嘉宾：付海涛 京东 高级技术专家 编辑整理：刘明明 出品平台：DataFunTalk 导读： Flink是目前流式处理领域的热门引擎，具备高吞吐、低延迟的特点，在实时数仓、实时风控、实时推荐等多个场景有着广泛的应用。京东于2018年开始基于Flink+K8s深入打造高性能、稳定、可靠、易 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E4%BD%95%E4%BC%9A%E4%BC%9A%E6%9C%89%E8%B5%9E%E6%95%B0%E6%8D%AE%E5%9C%B0%E5%9B%BE%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 10:19:57 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E4%BD%95%E4%BC%9A%E4%BC%9A%E6%9C%89%E8%B5%9E%E6%95%B0%E6%8D%AE%E5%9C%B0%E5%9B%BE%E5%AE%9E%E8%B7%B5/ https://img.6aiq.com/e/89996d3bd04946939b59dd609a09e303.webp) 分享嘉宾：何会会 有赞 数据开发工程师 编辑整理：xiaomei 出品平台：DataFunTalk 导读： 今天和大家分享一下数据地图相关知识，以及有赞在数据地图方面的实践。主要分为4个部分： 数据地图的背景 数据地图是什么 有赞数据地图实践 总结和展望 01 数据地图的背景 1. 数据地图背景 每个企业都有和 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%B4%9D%E5%A3%B3%E6%89%BE%E6%88%BF%E4%B8%80%E7%AB%99%E5%BC%8F%E5%A4%A7%E6%95%B0%E6%8D%AE%E5%BC%80%E5%8F%91%E5%B9%B3%E5%8F%B0%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 10:10:53 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%B4%9D%E5%A3%B3%E6%89%BE%E6%88%BF%E4%B8%80%E7%AB%99%E5%BC%8F%E5%A4%A7%E6%95%B0%E6%8D%AE%E5%BC%80%E5%8F%91%E5%B9%B3%E5%8F%B0%E5%AE%9E%E8%B7%B5/ 分享嘉宾：仰宗强 编辑整理：刘春龙 出品平台：DataFunTalk 导读： 本次分享嘉宾是来自贝壳大数据部门的仰宗强，详细介绍了针对贝壳的业务数据与需求的增长，逐步升级数据开发平台的探索实践过程，包括三次数据开发平台架构升级的细节。 本次主题分享，主要从下面4个方面进行介绍： 背景介绍 探索 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%AB%AF%E5%88%B0%E7%AB%AF%E7%89%B9%E6%80%A7%E6%A6%82%E8%A7%88%E7%BF%BB%E8%AF%91/ Tue, 15 Mar 2022 10:09:54 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%AB%AF%E5%88%B0%E7%AB%AF%E7%89%B9%E6%80%A7%E6%A6%82%E8%A7%88%E7%BF%BB%E8%AF%91/ 原文地址： https://my.oschina.net/u/992559/blog/1819948 作者： moyiguke Apache Flink 端到端（end-to-end）Exactly-Once特性概览 本文是flink博文的翻译，原文链接 https://flink.apache.org/features/2018/03/01/end-to-end-exactly-once-apache-flink.html 2017年12月份发布的Apache Flink 1.4版本，引进了一个重要的特性：TwoPhaseCommitSinkFunction （关联Jira https://i https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%B9%B2%E8%B4%A7%E7%AF%87%E5%9F%BA%E4%BA%8E%E7%9A%84%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E5%B7%A5%E4%BD%9C%E6%B5%81%E5%B9%B3%E5%8F%B0%E5%9C%A8%E7%AB%99%E7%9A%84%E5%BA%94%E7%94%A8/ Tue, 15 Mar 2022 10:05:18 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%B9%B2%E8%B4%A7%E7%AF%87%E5%9F%BA%E4%BA%8E%E7%9A%84%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E5%B7%A5%E4%BD%9C%E6%B5%81%E5%B9%B3%E5%8F%B0%E5%9C%A8%E7%AB%99%E7%9A%84%E5%BA%94%E7%94%A8/ 分享嘉宾: 张杨，B站资深开发工程师 整理出品: AICUG人工智能社区 浏览器不支持该媒体的播放 :( 导读 : 整个机器学习的过程,从数据上报,到特征计算,到模型训练,再到线上部署,最终效果评估,整个流程非常冗长,在b站,多个团队都会搭建自己的机器学习链路,来完成各自的机器学习需求,工程效率和 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%85%BE%E8%AE%AF%E6%8A%80%E6%9C%AF%E4%BA%A4%E4%BA%92%E5%BC%8F%E5%88%86%E6%9E%90%E9%A2%86%E5%9F%9F%E4%B8%BA%E4%BD%95%E8%83%BD%E5%A4%9F%E6%9D%80%E5%87%BA%E9%87%8D%E5%9B%B4/ Tue, 15 Mar 2022 09:31:25 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%85%BE%E8%AE%AF%E6%8A%80%E6%9C%AF%E4%BA%A4%E4%BA%92%E5%BC%8F%E5%88%86%E6%9E%90%E9%A2%86%E5%9F%9F%E4%B8%BA%E4%BD%95%E8%83%BD%E5%A4%9F%E6%9D%80%E5%87%BA%E9%87%8D%E5%9B%B4/ 姜国强 腾讯云加社区 导语 | 在百花齐放的交互式分析领域，ClickHouse 绝对是后起之秀，它虽然年轻，却有非常大的发展空间。本文将分享 PB 级分析型数据库 ClickHouse 的应用场景、整体架构、众多核心特性等，帮助理解 ClickHouse 如何实现极致性能的存储引擎，希望与大家一起交流。文章作者：姜国强，腾讯实时检索研发 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%92%8C%E7%9A%84%E6%89%B9%E6%B5%81%E8%9E%8D%E5%90%88/ Tue, 15 Mar 2022 09:28:49 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%92%8C%E7%9A%84%E6%89%B9%E6%B5%81%E8%9E%8D%E5%90%88/ 作者： 翟佳@Pulsar 摘要： StreamNative 联合创始人翟佳在本次演讲中介绍了下一代云原生消息流平台 Apache Pulsar，并讲解如何通过 Apache Pulsar 原生的存储计算分离的架构提供批流融合的基础，以及 Apache Pulsar 如何与 Flink 结合，实现批流一体的计算。 Apache Pulsar 相对比较新，它于 2017 年加入 Apache 软件基金会，2018 年才从 Apache 软件基金会毕业并 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%B4%9D%E5%A3%B3%E6%89%BE%E6%88%BF%E5%9F%BA%E4%BA%8E%E7%9A%84%E5%BC%95%E6%93%8E%E5%BA%94%E7%94%A8%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 09:27:51 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%B4%9D%E5%A3%B3%E6%89%BE%E6%88%BF%E5%9F%BA%E4%BA%8E%E7%9A%84%E5%BC%95%E6%93%8E%E5%BA%94%E7%94%A8%E5%AE%9E%E8%B7%B5/ 分享嘉宾：王啸@贝壳找房 资深研发工程师 编辑整理：王建新 出品平台：DataFunTalk 导读： 贝壳作为全国领先的房产交易和租赁在线服务平台，有很多业务场景会产出大量实时和离线数据，针对这些数据进行查询分析，对于企业发展和业务拓展至关重要。不同业务线不同查询场景下，单一技术手段很难满 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E4%BB%8E%E9%98%BF%E9%87%8C%E6%A0%B8%E5%BF%83%E5%9C%BA%E6%99%AF%E7%9C%8B%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E7%9A%84%E5%8F%91%E5%B1%95%E8%B6%8B%E5%8A%BF/ Tue, 15 Mar 2022 09:25:00 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E4%BB%8E%E9%98%BF%E9%87%8C%E6%A0%B8%E5%BF%83%E5%9C%BA%E6%99%AF%E7%9C%8B%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E7%9A%84%E5%8F%91%E5%B1%95%E8%B6%8B%E5%8A%BF/ 作者：果贝，阿里云资深技术专家 ，实时数仓Hologres负责人 2022年1月7日，阿里云实时数仓Hologres举行了年度发布会，在发布会上，来自阿里的资深技术专家从阿里的核心场景出发，为大家解读了实时数仓的新发展趋势“在线化、敏捷化、一站式”。通过本文，我们将会深入解读实时数仓 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%B7%A5%E4%BD%9C%E4%B8%AD%E7%BB%84%E5%86%85%E9%81%87%E5%88%B0%E7%9A%84%E4%BD%BF%E7%94%A8%E4%B8%8A%E7%9A%84%E8%B8%A9%E5%9D%91%E6%80%BB%E7%BB%93/ Tue, 15 Mar 2022 09:24:55 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%B7%A5%E4%BD%9C%E4%B8%AD%E7%BB%84%E5%86%85%E9%81%87%E5%88%B0%E7%9A%84%E4%BD%BF%E7%94%A8%E4%B8%8A%E7%9A%84%E8%B8%A9%E5%9D%91%E6%80%BB%E7%BB%93/ 嵌套索引的坑 场景： 一个spu doc下有多个内嵌的csu，csu内有上下架状态，前台操作某csu上下架，在商城界面看起来未生效。 坑1： mysql binlog消息监控组件dbus 通知服务端B多台机器消息变更时，未考虑spu下csu消息的消费顺序性，导致同一spu的多个csu上下架变更消息被多 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%BD%91%E6%98%93%E6%B8%B8%E6%88%8F%E5%9F%BA%E4%BA%8E%E7%9A%84%E6%B5%81%E5%BC%8F%E5%BB%BA%E8%AE%BE/ Tue, 15 Mar 2022 09:21:41 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%BD%91%E6%98%93%E6%B8%B8%E6%88%8F%E5%9F%BA%E4%BA%8E%E7%9A%84%E6%B5%81%E5%BC%8F%E5%BB%BA%E8%AE%BE/ 网易游戏资深开发工程师林小铂为大家带来网易游戏基于 Flink 的流式 ETL 建设的介绍。内容包括： 业务背景 专用 ETL EntryX 通用 ETL 调优实践 未来规划 一. 业务背景 网易游戏 ETL 服务概况 网易游戏的基础数据主要日志方式采集，这些日志通常是非结构化或半结构化数据，需要经过数据集成 ETL 才可以入库至实时或离线的数据仓库。此后 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%88%B1%E5%A5%87%E8%89%BA%E5%A4%A7%E6%95%B0%E6%8D%AE%E7%94%9F%E6%80%81%E7%9A%84%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E5%BB%BA%E8%AE%BE/ Tue, 15 Mar 2022 09:20:51 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%88%B1%E5%A5%87%E8%89%BA%E5%A4%A7%E6%95%B0%E6%8D%AE%E7%94%9F%E6%80%81%E7%9A%84%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E5%BB%BA%E8%AE%BE/ 作者： 爱奇艺技术产品团队 数据作为互联网时代的基础生产资料，在各大公司企业拥有举足轻重的地位。数据的价值在互联网公司的体现，大致而言可以分成三类： 发掘数据中的信息来指导决策，如产品运营、用户增长相关的 BI 报表 依托数据优化用户体验和变现效率，如信息分发场景下的个性化推荐、效果广告等 基于 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%98%BF%E9%87%8C%E4%BC%98%E9%85%B7%E5%A4%A7%E6%95%B0%E6%8D%AE%E6%8A%80%E6%9C%AF%E9%80%89%E5%9E%8B/ Tue, 15 Mar 2022 09:19:01 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%98%BF%E9%87%8C%E4%BC%98%E9%85%B7%E5%A4%A7%E6%95%B0%E6%8D%AE%E6%8A%80%E6%9C%AF%E9%80%89%E5%9E%8B/ 分享嘉宾：五羖 阿里文娱 技术专家 编辑整理：汤志敏 出品平台：DataFunTalk、AI启蒙者 导读： 数据驱动的方法论已深入人心，无论是开发、产品还是运营，根据数据进行决策是必备环节。你是否好奇过，在优酷这样海量数据的场景下，是什么样的引擎在支撑着业务上林林总总的分析需求？大数据领域中 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%BF%99%E5%8F%AF%E8%83%BD%E6%98%AF%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E5%92%8C%E5%A4%A7%E6%95%B0%E6%8D%AE%E9%A2%86%E5%9F%9F%E8%A6%86%E7%9B%96%E6%9C%80%E5%85%A8%E7%9A%84%E4%B8%80%E4%BB%BD%E9%80%9F%E6%9F%A5%E8%A1%A8/ Tue, 15 Mar 2022 09:18:01 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%BF%99%E5%8F%AF%E8%83%BD%E6%98%AF%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E5%92%8C%E5%A4%A7%E6%95%B0%E6%8D%AE%E9%A2%86%E5%9F%9F%E8%A6%86%E7%9B%96%E6%9C%80%E5%85%A8%E7%9A%84%E4%B8%80%E4%BB%BD%E9%80%9F%E6%9F%A5%E8%A1%A8/ 作者：Stefan Kojouharov 译者：郝毅 2018 年 11 月 27 日 话题：AI语言 & 开发大数据深度学习 2018 年 11 月 27 日 话题：AI语言 & 开发大数据深度学习机器学习 本文是根据 Stefan Kojouharov 发表在 Medium 上的文章整理而成的一份人工智能、神经网络、机器学习、深度学习和大数据方面的速查表。为了便于查找与使用，本文对每个主题进行了分类， https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9C%A8%E6%9C%89%E8%B5%9E%E5%AE%9E%E6%97%B6%E8%AE%A1%E7%AE%97%E7%9A%84%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 09:17:38 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9C%A8%E6%9C%89%E8%B5%9E%E5%AE%9E%E6%97%B6%E8%AE%A1%E7%AE%97%E7%9A%84%E5%AE%9E%E8%B7%B5/ 转载自： 有赞技术团队博客 一、前言 这篇主要由五个部分来组成： 首先是有赞的实时平台架构。 其次是在调研阶段我们为什么选择了 Flink。在这个部分，主要是 Flink 与 Spark 的 structured streaming 的一些对比和选择 Flink 的原因。 第三个就是比较重点的内容，Flink 在有赞的实践。这其中包括了我们在使用 Flink 的过程中碰到的一些坑， https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%85%BE%E8%AE%AF%E6%B8%B8%E6%88%8F%E5%AE%9E%E6%97%B6%E8%AE%A1%E7%AE%97%E5%BA%94%E7%94%A8%E5%B9%B3%E5%8F%B0%E5%BB%BA%E8%AE%BE%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 09:13:46 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%85%BE%E8%AE%AF%E6%B8%B8%E6%88%8F%E5%AE%9E%E6%97%B6%E8%AE%A1%E7%AE%97%E5%BA%94%E7%94%A8%E5%B9%B3%E5%8F%B0%E5%BB%BA%E8%AE%BE%E5%AE%9E%E8%B7%B5/ 作者： 许振文@腾讯游戏 Flink 中文社区 摘要： 本文由腾讯游戏增值服务部数据中心许振文分享，主要介绍腾讯游戏实时计算应用平台的建设实践。内容包括： PPT下载： https://flink-learning.org.cn/developers/flink-forward-asia-2020/ 建设背景 统一实时大数据开发 OneData 统一大数据接口服务 OneFun 数据服务微服务化 & ServiceMesh 管理 一、建设背景 首先介绍一下相关背景，很早之前我们就开始做游戏 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%B6%88%E6%81%AF%E4%B8%AD%E9%97%B4%E4%BB%B6%E6%B6%88%E6%81%AF%E6%B6%88%E8%B4%B9%E4%B8%89%E6%B6%88%E6%81%AF%E6%B6%88%E8%B4%B9%E9%87%8D%E8%AF%95/ Tue, 15 Mar 2022 09:08:41 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%B6%88%E6%81%AF%E4%B8%AD%E9%97%B4%E4%BB%B6%E6%B6%88%E6%81%AF%E6%B6%88%E8%B4%B9%E4%B8%89%E6%B6%88%E6%81%AF%E6%B6%88%E8%B4%B9%E9%87%8D%E8%AF%95/ 摘要：如果Consumer端消费消息失败，那么RocketMQ是如何对失败的异常情况进行处理？ 前面两篇RocketMQ消息消费（一）/（二）篇，主要从Push/Pull两种消费模式的简要流程、长轮询机制和Consumer端负载均衡这几点内容出发，介绍了RocketMQ消息消费的正 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%A9%BA%E9%97%B4%E6%95%B0%E6%8D%AE%E7%B4%A2%E5%BC%95%E5%AE%8C%E5%85%A8%E8%A7%A3%E6%9E%90%E5%8F%8A%E5%AE%9E%E7%8E%B0/ Tue, 15 Mar 2022 09:08:34 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%A9%BA%E9%97%B4%E6%95%B0%E6%8D%AE%E7%B4%A2%E5%BC%95%E5%AE%8C%E5%85%A8%E8%A7%A3%E6%9E%90%E5%8F%8A%E5%AE%9E%E7%8E%B0/ 作者：佳佳牛 来源：CSDN 原文： https://blog.csdn.net/MongChia1993/article/details/69941783 版权声明：本文为博主原创文章，转载请附上博文链接！ 最近在看空间数据索引的一些算法，感觉这哥们写的非常棒，特地转载过来。 第一部分 空间数据的背景介绍 空间数据的建模 基于实体的模型（基于对象）Entity-based models (or object based) 0-dimensional objects : 一般使用点point来表 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%B6%88%E6%81%AF%E4%B8%AD%E9%97%B4%E4%BB%B6%E6%B6%88%E6%81%AF%E5%AD%98%E5%82%A8%E4%B8%80/ Tue, 15 Mar 2022 09:06:38 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%B6%88%E6%81%AF%E4%B8%AD%E9%97%B4%E4%BB%B6%E6%B6%88%E6%81%AF%E5%AD%98%E5%82%A8%E4%B8%80/ 文章摘要：MQ分布式消息队列大致流程在于消息的一发一收一存，本篇将为大家主要介绍下RocketMQ存储部分的架构 消息存储是MQ消息队列中最为复杂和最为重要的一部分，所以小编也就放在RocketMQ系列篇幅中最后一部分来进行阐述和介绍。本文先从目前几种比较常用的MQ消息队列存储方式 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%B6%88%E6%81%AF%E4%B8%AD%E9%97%B4%E4%BB%B6%E7%9A%84%E9%80%9A%E4%BF%A1%E4%BA%8C/ Tue, 15 Mar 2022 09:06:30 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%B6%88%E6%81%AF%E4%B8%AD%E9%97%B4%E4%BB%B6%E7%9A%84%E9%80%9A%E4%BF%A1%E4%BA%8C/ 文章摘要：如何设计RPC通信层模型是任何一款性能强劲的MQ所要重点考虑的问题 在（一）篇中主要介绍了RocketMQ的协议格式，消息编解码，通信方式(同步/异步/单向)、消息发送/接收以及异步回调的主要通信流程。而本篇将主要对RocketMQ消息队列RPC通信部分的Netty多线程 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%B5%85%E8%B0%88%E8%98%91%E8%8F%87%E8%A1%97%E5%A4%A7%E6%95%B0%E6%8D%AE%E6%A0%87%E7%AD%BE%E5%B9%B3%E5%8F%B0/ Tue, 15 Mar 2022 09:06:24 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%B5%85%E8%B0%88%E8%98%91%E8%8F%87%E8%A1%97%E5%A4%A7%E6%95%B0%E6%8D%AE%E6%A0%87%E7%AD%BE%E5%B9%B3%E5%8F%B0/ 起始 标签平台作为数据平台建设的一部分，尤其是在互联网电商平台中，有着重要的作用。本人在公司接手并且重构了整个标签平台的核心逻辑。对标签平台有一定的了解。写这篇文章的契机是几个数仓的哥们，问到了这方面的问题，正好我也可以总结一下。 本文从技术角度，通过以下几个方面来阐述标签平台的建设 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%98%BF%E9%87%8C%E5%B7%B4%E5%B7%B4%E4%B8%BA%E4%BB%80%E4%B9%88%E9%80%89%E6%8B%A9%E4%B8%8B%E4%B8%80%E4%BB%A3%E5%A4%A7%E6%95%B0%E6%8D%AE%E5%A4%84%E7%90%86%E7%B3%BB%E7%BB%9F/ Tue, 15 Mar 2022 09:06:22 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%98%BF%E9%87%8C%E5%B7%B4%E5%B7%B4%E4%B8%BA%E4%BB%80%E4%B9%88%E9%80%89%E6%8B%A9%E4%B8%8B%E4%B8%80%E4%BB%A3%E5%A4%A7%E6%95%B0%E6%8D%AE%E5%A4%84%E7%90%86%E7%B3%BB%E7%BB%9F/ 阿里妹导读：伴随着海量增长的数据，数字化时代的未来感扑面而至。不论是结绳记事的小数据时代，还是我们正在经历的大数据时代，计算的边界正在被无限拓宽，而数据的价值再也难以被计算。时下，谈及大数据，不得不提到热门的下一代大数据计算引擎Apache Flink（以下简称Flink）。本文将 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%99%BE%E5%BA%A6%E7%88%B1%E7%95%AA%E7%95%AA%E5%A4%A7%E8%A7%84%E6%A8%A1%E5%BC%82%E6%9E%84%E6%95%B0%E6%8D%AE%E7%9A%84%E7%BA%BF%E7%B4%A2%E5%88%97%E8%A1%A8%E8%BF%9B%E5%8C%96%E4%B9%8B%E8%B7%AF/ Tue, 15 Mar 2022 09:05:21 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%99%BE%E5%BA%A6%E7%88%B1%E7%95%AA%E7%95%AA%E5%A4%A7%E8%A7%84%E6%A8%A1%E5%BC%82%E6%9E%84%E6%95%B0%E6%8D%AE%E7%9A%84%E7%BA%BF%E7%B4%A2%E5%88%97%E8%A1%A8%E8%BF%9B%E5%8C%96%E4%B9%8B%E8%B7%AF/ 导读：「以客户为中心，技术为产品服务」是爱番番线索管家团队一贯遵循的原则。技术架构规划首先应该围绕业务诉求展开，用合理的技术赋能产品，产品在不断的演进中又对技术提出更高的标准和要求。作为爱番番PV最高的页面，本文将详细介绍线索列表如何从快速交付的刀耕火种原始状态，逐步走向“高可用 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9C%A8%E8%85%BE%E8%AE%AF%E9%87%91%E8%9E%8D%E5%A4%A7%E6%95%B0%E6%8D%AE%E5%9C%BA%E6%99%AF%E4%B8%AD%E7%9A%84%E5%BA%94%E7%94%A8/ Tue, 15 Mar 2022 09:05:17 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9C%A8%E8%85%BE%E8%AE%AF%E9%87%91%E8%9E%8D%E5%A4%A7%E6%95%B0%E6%8D%AE%E5%9C%BA%E6%99%AF%E4%B8%AD%E7%9A%84%E5%BA%94%E7%94%A8/ 分享嘉宾：邓威 腾讯 高级工程师 编辑整理：汪宸妃 武汉大学 出品平台：DataFunTalk 导读： 在腾讯金融场景，我们每天都会产生大量的数据，为了提升分析的交互性，让决策更加敏捷，我们引入了Impala来解决我们的分析需求。所以，本文将和大家分享Impala在腾讯金融大数据场景中的应用架 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%B6%88%E6%81%AF%E4%B8%AD%E9%97%B4%E4%BB%B6%E6%B6%88%E6%81%AF%E5%8F%91%E9%80%81/ Tue, 15 Mar 2022 09:05:14 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%B6%88%E6%81%AF%E4%B8%AD%E9%97%B4%E4%BB%B6%E6%B6%88%E6%81%AF%E5%8F%91%E9%80%81/ 大道至简，消息队列可以简单概括为：“一发一存一收”，在这三个过程中消息发送最为简单，也比较容易入手，适合初中阶童鞋作为MQ研究和学习的切入点。因此，本篇主要从一条消息发送为切入点，详细阐述在RocketMQ这款分布式消息队列中发送一条普通消息的大致流程和细节。在阅读本篇之前希望读 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%B4%9D%E5%A3%B3%E6%89%BE%E6%88%BF%E5%A4%8D%E6%9D%82%E8%AE%A2%E9%98%85%E6%9D%A1%E4%BB%B6%E4%B8%8B%E5%A6%82%E4%BD%95%E5%AE%9E%E6%97%B6%E5%87%86%E7%A1%AE%E7%9A%84%E5%90%91%E7%94%A8%E6%88%B7%E6%8E%A8%E9%80%81%E6%96%B0%E4%B8%8A%E6%88%BF%E6%BA%90/ Tue, 15 Mar 2022 09:05:14 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%B4%9D%E5%A3%B3%E6%89%BE%E6%88%BF%E5%A4%8D%E6%9D%82%E8%AE%A2%E9%98%85%E6%9D%A1%E4%BB%B6%E4%B8%8B%E5%A6%82%E4%BD%95%E5%AE%9E%E6%97%B6%E5%87%86%E7%A1%AE%E7%9A%84%E5%90%91%E7%94%A8%E6%88%B7%E6%8E%A8%E9%80%81%E6%96%B0%E4%B8%8A%E6%88%BF%E6%BA%90/ 卫海波@贝壳找房 贝壳产品技术 贝壳找房APP给用户提供了海量房源的搜索查询功能，但是网站存量房源并不能完全满足用户的找房需求，用户希望可以及时获取新上房源的实时提醒。目前贝壳找房APP提供的房源新上实时推送有两个维度：基于关注小区的房源新上和基于搜索订阅条件的房源新上。 基于关注小区 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%85%BE%E8%AE%AF%E5%AE%9E%E6%97%B6%E8%AE%A1%E7%AE%97%E5%B9%B3%E5%8F%B0%E4%BC%98%E5%8C%96%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 09:04:42 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%85%BE%E8%AE%AF%E5%AE%9E%E6%97%B6%E8%AE%A1%E7%AE%97%E5%B9%B3%E5%8F%B0%E4%BC%98%E5%8C%96%E5%AE%9E%E8%B7%B5/ 分享：杜立 腾讯高级工程师 整理：戴季国 校对：苗文婷 来源：Flink中文社区 摘要： 本文由腾讯高级工程师杜立分享，主要介绍腾讯实时计算平台针对 Flink SQL 所做的优化，内容包括： Flink SQL 现状 窗口功能的扩展 回撤流的优化 未来的规划 01 背景及现状 1. 三种模式的分析 Flink 作业目前有三种创建方式：JAR 模式、画布模式 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%AE%9E%E6%88%98%E7%BB%93%E5%90%88%E6%9E%84%E5%BB%BA%E7%AB%AF%E5%88%B0%E7%AB%AF%E7%9A%84%E5%A4%84%E7%90%86%E7%A8%8B%E5%BA%8F/ Tue, 15 Mar 2022 09:02:36 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%AE%9E%E6%88%98%E7%BB%93%E5%90%88%E6%9E%84%E5%BB%BA%E7%AB%AF%E5%88%B0%E7%AB%AF%E7%9A%84%E5%A4%84%E7%90%86%E7%A8%8B%E5%BA%8F/ 原文地址： https://my.oschina.net/u/992559/blog/1819948 作者： moyiguke 前言 在消息处理过程中，除了Flink程序本身的逻辑（operator），我们还需要和外部系统进行交互，例如本地磁盘文件，HDFS，Kafka，Mysql等。虽然Flink本身支持Exactly-Once语义，但是对于完整的数据处理系统来说，最终呈现出来的语义和 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%8B%8F%E5%AE%81%E8%8B%8F%E5%AE%81%E5%A4%A7%E6%95%B0%E6%8D%AE%E7%A6%BB%E7%BA%BF%E4%BB%BB%E5%8A%A1%E5%BC%80%E5%8F%91%E8%B0%83%E5%BA%A6%E5%B9%B3%E5%8F%B0%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 09:02:35 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%8B%8F%E5%AE%81%E8%8B%8F%E5%AE%81%E5%A4%A7%E6%95%B0%E6%8D%AE%E7%A6%BB%E7%BA%BF%E4%BB%BB%E5%8A%A1%E5%BC%80%E5%8F%91%E8%B0%83%E5%BA%A6%E5%B9%B3%E5%8F%B0%E5%AE%9E%E8%B7%B5/ 桑强 2018 年 11 月 5 日 目录 背景 2 设计目标 2 2.1 用户交互的产品功能 2 2.2 后台调度功能 3 2.3 任务执行器功能 4 2.4 任务运维功能 5 2.5 平台对外功能 6 平台价值 7 平台建设 7 4.1 用户功能实现说明 8 4.2 调度周期设计说明 12 4.3 调度策略设计说明 13 4.4 调度流控设计说明 15 4.5 系统高可用设计说明 16 4.6 任务失败策略 17 4.7 任务运行分析设计 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%A9%AC%E8%9C%82%E7%AA%9D%E5%A4%9A%E5%B1%82%E5%88%86%E6%B5%81%E7%B3%BB%E7%BB%9F%E7%9A%84%E8%AE%BE%E8%AE%A1%E4%B8%8E%E5%AE%9E%E7%8E%B0/ Tue, 15 Mar 2022 09:02:33 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%A9%AC%E8%9C%82%E7%AA%9D%E5%A4%9A%E5%B1%82%E5%88%86%E6%B5%81%E7%B3%BB%E7%BB%9F%E7%9A%84%E8%AE%BE%E8%AE%A1%E4%B8%8E%E5%AE%9E%E7%8E%B0/ 导读： 5 月 23 日，马蜂窝旅游网宣布完成 2.5 亿美元新一轮融资，此轮融资由腾讯领投。 在接授腾讯《潜望》栏目的专访时，马蜂窝 CEO 陈罡谈到，「现在马蜂窝是个数据驱动的公司，要以结果说话，能用 ABTest 解决的问题就没有必要谈其他」。 作为一家数据驱动的公司，当前在马蜂窝 ABTest 已经基本覆盖所有业务线并稳定运行。 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%B6%88%E6%81%AF%E4%B8%AD%E9%97%B4%E4%BB%B6%E7%9A%84%E9%80%9A%E4%BF%A1%E4%B8%80/ Tue, 15 Mar 2022 09:02:29 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%B6%88%E6%81%AF%E4%B8%AD%E9%97%B4%E4%BB%B6%E7%9A%84%E9%80%9A%E4%BF%A1%E4%B8%80/ 文章摘要：借用小厮的一句话“消息队列的本质在于消息的发送、存储和接收”。那么，对于一款消息队列来说，如何做到消息的高效发送与接收是重点和关键 一、RocketMQ中Remoting通信模块概览 RocketMQ消息队列的整体部署架构如下图所示： 先来说下RocketMQ消息队列集群中的 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%BE%AE%E4%BF%A1%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E7%9A%84%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 09:02:27 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%BE%AE%E4%BF%A1%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E7%9A%84%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5/ 作者：微信WeOLAP团队&腾讯云数据仓库 Clickhouse 团队 微信作为一款国民级应用，已经覆盖了社交、支付、出行等人们生活的方方面面。海量多样化的业务形态，对数据分析提出了新的挑战。为了满足业务数据分析的需求，微信 WeOLAP 团队联手腾讯云，共建千台规模、数据 PB 级、批流一体的 ClickHouse 数据仓库，实现了 10 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%A4%A7%E8%AF%9D%E6%9C%BA%E5%88%B6/ Tue, 15 Mar 2022 09:02:24 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%A4%A7%E8%AF%9D%E6%9C%BA%E5%88%B6/ 转载自： https://cloud.tencent.com/developer/article/1005481 作者： 黄日成 提到select、poll、epoll相信大家都耳熟能详了，三个都是IO多路复用的机制，可以监视多个描述符的读/写等事件，一旦某个描述符就绪（一般是读或者写事件发生了），就能够将发生的事件通知给关心的应用程序去处理该事件。本质上，select、poll、ep https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%94%AF%E6%8C%81%E9%A2%91%E7%B9%81%E6%9B%B4%E6%96%B0%E5%8D%B3%E5%B8%AD%E6%9F%A5%E8%AF%A2%E5%9C%A8%E7%88%B1%E5%A5%87%E8%89%BA%E8%A7%86%E9%A2%91%E7%94%9F%E4%BA%A7%E7%9A%84%E5%BA%94%E7%94%A8/ Tue, 15 Mar 2022 09:02:22 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%94%AF%E6%8C%81%E9%A2%91%E7%B9%81%E6%9B%B4%E6%96%B0%E5%8D%B3%E5%B8%AD%E6%9F%A5%E8%AF%A2%E5%9C%A8%E7%88%B1%E5%A5%87%E8%89%BA%E8%A7%86%E9%A2%91%E7%94%9F%E4%BA%A7%E7%9A%84%E5%BA%94%E7%94%A8/ 作者： 爱奇艺后台研发部 众所周知，爱奇艺拥有海量视频，在视频生产过程中产生的上千QPS的实时数据、T级别的数据存储。要支持这样的数据进行即席查询和多个大表的JOIN，是爱奇艺视频生产团队大数据应用的难点。 具体来说有以下几点： 1)实时性的要求，需要实时的解决方案。 2)生产数据更新频繁 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%98%BF%E9%87%8C%E4%B8%80%E9%9D%A2%E5%A6%82%E4%BD%95%E4%BF%9D%E9%9A%9C%E6%B6%88%E6%81%AF%E6%8A%95%E9%80%92%E6%88%90%E5%8A%9F%E6%B6%88%E6%81%AF%E5%B9%82%E7%AD%89%E6%80%A7/ Tue, 15 Mar 2022 09:02:14 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%98%BF%E9%87%8C%E4%B8%80%E9%9D%A2%E5%A6%82%E4%BD%95%E4%BF%9D%E9%9A%9C%E6%B6%88%E6%81%AF%E6%8A%95%E9%80%92%E6%88%90%E5%8A%9F%E6%B6%88%E6%81%AF%E5%B9%82%E7%AD%89%E6%80%A7/ 前言 我们小伙伴应该都听说够消息中间件MQ，如：RabbitMQ，RocketMQ，Kafka等。引入中间件的好处可以起到抗高并发，削峰，业务解耦的作用。 如上图： （1）订单服务投递消息给MQ中间件 （2）物流服务监听MQ中间件消息，从而进行消费 我们这篇文章讨论一下，如何保障订单服务把 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%B7%A5%E5%95%86%E9%93%B6%E8%A1%8C%E5%AE%9E%E6%97%B6%E5%A4%A7%E6%95%B0%E6%8D%AE%E5%B9%B3%E5%8F%B0%E5%BB%BA%E8%AE%BE%E5%8E%86%E7%A8%8B%E5%8F%8A%E5%B1%95%E6%9C%9B/ Tue, 15 Mar 2022 09:00:43 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%B7%A5%E5%95%86%E9%93%B6%E8%A1%8C%E5%AE%9E%E6%97%B6%E5%A4%A7%E6%95%B0%E6%8D%AE%E5%B9%B3%E5%8F%B0%E5%BB%BA%E8%AE%BE%E5%8E%86%E7%A8%8B%E5%8F%8A%E5%B1%95%E6%9C%9B/ 袁一@工商银行 摘要： 本文整理自中国工商银行大数据平台负责人袁一在 Flink Forward Asia 2021 的分享 一、工行实时大数据平台建设历程 工商银行从 2002 年开始建设数据集市，当时主要使用 Oracle 类单机版的关系型数据库。随着数据量不断增加，开始引入 TD、ED 等国外高端一体机。2014 年工行正式基于 Hadoop 技术建设了大数据平台， https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%8E%BB%E5%93%AA%E5%84%BF%E7%BD%91%E6%95%B0%E6%8D%AE%E5%90%8C%E6%AD%A5%E5%B9%B3%E5%8F%B0%E6%8A%80%E6%9C%AF%E6%BC%94%E8%BF%9B%E4%B8%8E%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 09:00:36 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%8E%BB%E5%93%AA%E5%84%BF%E7%BD%91%E6%95%B0%E6%8D%AE%E5%90%8C%E6%AD%A5%E5%B9%B3%E5%8F%B0%E6%8A%80%E6%9C%AF%E6%BC%94%E8%BF%9B%E4%B8%8E%E5%AE%9E%E8%B7%B5/ 作者介绍 井显生，2019年加入去哪儿，现负责国内机票出票、退款、改签核心业务。在领域驱动设计(DDD)、高并发有大量实践经验。 一、前言 去哪儿网国内机票售后是为用户提供退票、改签、航班变动、行程服务、疫情政策等服务的业务。业务场景中有复杂的基于订单、客票、 PNR 、行程、航司等各种维度的 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%B1%BD%E8%BD%A6%E4%B9%8B%E5%AE%B6%E6%B9%96%E4%BB%93%E4%B8%80%E4%BD%93%E6%9E%B6%E6%9E%84%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 08:59:36 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%B1%BD%E8%BD%A6%E4%B9%8B%E5%AE%B6%E6%B9%96%E4%BB%93%E4%B8%80%E4%BD%93%E6%9E%B6%E6%9E%84%E5%AE%9E%E8%B7%B5/ 分享嘉宾：邸星星@汽车之家 编辑整理：DataFun、Flink中文社区 导读： 本文将介绍如何基于Apache Iceberg构建湖仓一体架构，将数据可见性提升至分钟级；从多维分析的角度来探讨引入Apache Iceberg带来的收益，以及未来还有哪些收益可以期待。 01 数据仓库架构升级的背 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%B6%88%E6%81%AF%E4%B8%AD%E9%97%B4%E4%BB%B6%E6%B6%88%E6%81%AF%E6%B6%88%E8%B4%B9%E4%B8%80/ Tue, 15 Mar 2022 08:59:36 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%B6%88%E6%81%AF%E4%B8%AD%E9%97%B4%E4%BB%B6%E6%B6%88%E6%81%AF%E6%B6%88%E8%B4%B9%E4%B8%80/ 文章摘要：在发送消息给RocketMQ后，消费者需要消费。消息的消费比发送要复杂一些，那么RocketMQ是如何来做的呢？ 在RocketMQ系列文章的前面几篇幅中已经对其“RPC通信部分”和“普通消息发送”两部分进行了详细的阐述，本文将主要从消息消费为切入点简要地介绍下“Rock https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%95%B0%E6%99%BA%E6%8A%80%E6%9C%AF%E5%A4%A7%E6%95%B0%E6%8D%AE%E4%BC%98%E5%8C%96%E4%B9%8B%E6%95%B0%E6%8D%AE%E5%80%BE%E6%96%9C%E8%A7%A3%E5%86%B3%E6%A1%88%E4%BE%8B%E5%85%A8%E9%9B%86/ Tue, 15 Mar 2022 08:59:28 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%95%B0%E6%99%BA%E6%8A%80%E6%9C%AF%E5%A4%A7%E6%95%B0%E6%8D%AE%E4%BC%98%E5%8C%96%E4%B9%8B%E6%95%B0%E6%8D%AE%E5%80%BE%E6%96%9C%E8%A7%A3%E5%86%B3%E6%A1%88%E4%BE%8B%E5%85%A8%E9%9B%86/ 1 什么是数据倾斜 数据倾斜即指在大数据计算任务中某个处理任务的进程（通常是一个JVM进程）被分配到的任务量过多，导致任务运行时间超长甚至最终失败，进而导致整个大任务超长时间运行或者失败。外部表现的话，在HiveSQL任务里看到map或者reduce的进度一直是99%持续数小时没有变 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%96%B0%E4%B8%9C%E6%96%B9%E5%9C%A8%E7%BA%BF%E6%95%99%E8%82%B2%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E7%9A%84%E8%90%BD%E5%9C%B0%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 08:58:49 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%96%B0%E4%B8%9C%E6%96%B9%E5%9C%A8%E7%BA%BF%E6%95%99%E8%82%B2%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E7%9A%84%E8%90%BD%E5%9C%B0%E5%AE%9E%E8%B7%B5/ 以下文章来源于ApacheDoris ，作者ApacheDoris 背景介绍 在传统数据仓库方面，通常以 T+1 离线批量计算为主，按照数仓建模方式，把要处理的业务按照主题域划分，构建各种数据模型，来满足公司经营分析，财务分析等各种公司管理层的数据需求。 然而，随着在线教育快速发展市场竞争非常激 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9C%A8%E6%9C%89%E8%B5%9E%E7%9A%84%E5%AE%9E%E8%B7%B5%E5%92%8C%E5%BA%94%E7%94%A8/ Tue, 15 Mar 2022 08:58:48 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9C%A8%E6%9C%89%E8%B5%9E%E7%9A%84%E5%AE%9E%E8%B7%B5%E5%92%8C%E5%BA%94%E7%94%A8/ 沈磊@有赞 Flink 中文社区 摘要： 今天主要分享的内容是 Flink 在有赞的实践和应用。 一、Flink 的容器化改造和实践 1. 有赞的集群演进历史 2014 年 7 月，第一个 Storm 任务正式上线； 2016 年，引入 Spark Streaming， 运行在 Hadoop Yarn； 2018 年，引入了 Flink，作业模式为 Flink on Yarn Per Job； 2020 年 6 月，实现了 100% Flink Jar 任务 K8s https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%9C%89%E8%B5%9E%E6%95%B0%E6%8D%AE%E8%B5%84%E4%BA%A7%E8%B5%9E%E4%B9%8B%E6%B2%BB%E7%90%86/ Tue, 15 Mar 2022 08:58:38 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%9C%89%E8%B5%9E%E6%95%B0%E6%8D%AE%E8%B5%84%E4%BA%A7%E8%B5%9E%E4%B9%8B%E6%B2%BB%E7%90%86/ 作者：见风 团队：有赞大数据团队 一、背景介绍 大数据概念的提出已十年有余，这期间风靡全球，与其相关的理论、技术和实践遍地开花，整个领域都在飞速发展。野蛮生长之下，“数据治理”的呼声水涨船高。工信部19年提出：将加强数据治理，扎实推进国家大数据发展战略，将数据治理重要性上升到新的高度。 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%BD%91%E6%98%93%E4%B8%A5%E9%80%89%E5%AE%9E%E6%97%B6%E8%AE%A1%E7%AE%97%E5%B9%B3%E5%8F%B0%E5%BB%BA%E8%AE%BE%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 08:56:03 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%BD%91%E6%98%93%E4%B8%A5%E9%80%89%E5%AE%9E%E6%97%B6%E8%AE%A1%E7%AE%97%E5%B9%B3%E5%8F%B0%E5%BB%BA%E8%AE%BE%E5%AE%9E%E8%B7%B5/ 分享嘉宾：王杰瑞 (前)网易 资深服务端研发 编辑整理：宋灵城 出品平台：DataFunTalk 导读： 网易严选作为一家品牌电商，对数据实时驱动业务有较高要求。在严选，实时计算被广泛应用在实时数仓、风控、业务监控等场景中。本文将分享网易严选实时计算平台的建设思路和实践，并介绍平台后续的一些 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%BA%A6%E5%B0%8F%E6%BB%A1%E9%87%91%E8%9E%8D%E5%A4%A7%E6%95%B0%E6%8D%AE%E6%9E%B6%E6%9E%84%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 08:53:51 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%BA%A6%E5%B0%8F%E6%BB%A1%E9%87%91%E8%9E%8D%E5%A4%A7%E6%95%B0%E6%8D%AE%E6%9E%B6%E6%9E%84%E5%AE%9E%E8%B7%B5/ 分享嘉宾：赵辉 度小满金融 架构师 编辑整理：蒋雯娟 厦门大学嘉庚学院 出品平台：DataFunTalk 导读： 大数据架构在金融场景下面临着诸多挑战，从架构上而言，业务对数据加工、存储和使用的全链路服务提出了更细致的管控需求；从使用上而言，用户并不想理解大数据架构的具体实现和管控的细节，用户 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%AE%BD%E4%BE%9D%E8%B5%96%E7%AA%84%E4%BE%9D%E8%B5%96%E6%80%BB%E7%BB%93/ Tue, 15 Mar 2022 03:10:35 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%AE%BD%E4%BE%9D%E8%B5%96%E7%AA%84%E4%BE%9D%E8%B5%96%E6%80%BB%E7%BB%93/ 宽依赖与窄依赖 窄依赖（narrow dependency）和宽依赖（wide dependency, 也称 shuffle dependency）. 窄依赖是指父RDD的每个分区只被子RDD的一个分区所使用， 子RDD分区通常对应常数个父RDD分区(O(1)，与数据规模无关), map/filter和union 相应的，宽依赖是 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E4%B8%80%E4%B8%AA%E8%BD%BB%E9%87%8F%E7%BA%A7%E6%9F%A5%E8%AF%A2%E6%A1%86%E6%9E%B6/ Tue, 15 Mar 2022 03:08:10 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E4%B8%80%E4%B8%AA%E8%BD%BB%E9%87%8F%E7%BA%A7%E6%9F%A5%E8%AF%A2%E6%A1%86%E6%9E%B6/ Walrus Introduction walrus是一个轻量级olap查询框架。它支持多源异构数据源(hdfs,mysql,clickhouse,kylin,druid…)，采用 apache spark 作为聚合计算引擎，在雪花模型 上通过json提供ETL建模和ad hoc数据查询服务。 Background 数据分析、ETL开发人员的日常工作 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%BD%91%E6%98%93%E8%BF%81%E7%A7%BB%E5%9C%A8%E7%BD%91%E6%98%93%E4%BC%A0%E5%AA%92%E7%9A%84%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 03:08:05 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%BD%91%E6%98%93%E8%BF%81%E7%A7%BB%E5%9C%A8%E7%BD%91%E6%98%93%E4%BC%A0%E5%AA%92%E7%9A%84%E5%AE%9E%E8%B7%B5/ 作者： 易同学 引言：把基于mapreduce的离线hiveSQL任务迁移到sparkSQL，不但能大幅缩短任务运行时间，还能节省不少计算资源。最近我们也把组内2000左右的hivesql任务迁移到了sparkSQL，这里做个简单的记录和分享，本文偏重于具体条件下的方案选择。 迁移背景 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%B9%B2%E8%B4%A7%E6%95%B0%E6%8D%AE%E5%8F%AF%E9%9D%A0%E6%80%A7%E6%B7%B1%E5%BA%A6%E8%A7%A3%E8%AF%BB/ Tue, 15 Mar 2022 01:32:20 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%B9%B2%E8%B4%A7%E6%95%B0%E6%8D%AE%E5%8F%AF%E9%9D%A0%E6%80%A7%E6%B7%B1%E5%BA%A6%E8%A7%A3%E8%AF%BB/ 我们先看一组评论再进入正文，我只想说厮大牛逼！ 作者：朱忠华 原文： https://blog.csdn.net/u013256816/article/details/71091774 1 概述 Kakfa起初是由LinkedIn公司开发的一个分布式的消息系统，后成为Apache的一部分，它使用Scala编写，以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Ap https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%B4%9D%E5%A3%B3%E6%89%BE%E6%88%BF%E8%BF%90%E7%BB%B4%E4%BD%93%E7%B3%BB%E5%9C%A8%E8%B4%9D%E5%A3%B3%E7%9A%84%E5%AE%9E%E8%B7%B5/ Mon, 14 Mar 2022 21:00:04 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%B4%9D%E5%A3%B3%E6%89%BE%E6%88%BF%E8%BF%90%E7%BB%B4%E4%BD%93%E7%B3%BB%E5%9C%A8%E8%B4%9D%E5%A3%B3%E7%9A%84%E5%AE%9E%E8%B7%B5/ 来源： 何巨放 贝壳找房 稿 1. 背景 Flink作为新一代的实时计算引擎在贝壳越来越多的应用场景下被应用，比如实时指标、实时ETL、实时监控等。目前贝壳内部线上运行中Flink任务已经超过4K，日均处理数据量万亿级。如何提升大规模Flink任务的稳定性、资源利用率、运维效率是一个有挑战的问 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%B1%A4%E6%A5%9A%E7%86%99%E7%BE%8E%E5%9B%A2%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E6%9E%B6%E6%9E%84%E6%BC%94%E8%BF%9B%E4%B8%8E%E5%BB%BA%E8%AE%BE%E5%AE%9E%E8%B7%B5/ Mon, 14 Mar 2022 20:59:44 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%B1%A4%E6%A5%9A%E7%86%99%E7%BE%8E%E5%9B%A2%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E6%9E%B6%E6%9E%84%E6%BC%94%E8%BF%9B%E4%B8%8E%E5%BB%BA%E8%AE%BE%E5%AE%9E%E8%B7%B5/ 分享嘉宾：汤楚熙 美团 编辑整理：李瑶 DataFun 出品平台：DataFunTalk 导读： 大家好，我叫汤楚熙，来自美团数据平台中心的计算平台团队，当前主要工作内容是实时数仓平台的研发。今天和大家分享一下实时数据在美团的典型应用场景，实时数仓建设中的挑战和解决方案，包括一些关键的设计细节。主要介绍 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%BE%8E%E5%9B%A2%E5%A4%A7%E4%BD%9C%E4%B8%9A%E9%83%A8%E7%BD%B2%E4%B8%8E%E7%8A%B6%E6%80%81%E7%A8%B3%E5%AE%9A%E6%80%A7%E4%BC%98%E5%8C%96%E5%AE%9E%E8%B7%B5/ Mon, 14 Mar 2022 20:59:32 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%BE%8E%E5%9B%A2%E5%A4%A7%E4%BD%9C%E4%B8%9A%E9%83%A8%E7%BD%B2%E4%B8%8E%E7%8A%B6%E6%80%81%E7%A8%B3%E5%AE%9A%E6%80%A7%E4%BC%98%E5%8C%96%E5%AE%9E%E8%B7%B5/ 摘要 ：本篇内容整理自美团数据平台工程师冯斐、王非凡在 Flink Forward Asia 2021 生产实践专场的演讲。主要内容包括： 一、相关背景 美团 Flink 的应用场景覆盖了社区定义的三种场景： 应用比较多的是数据管道场景，比如数仓 ODS 层数据的实时接入，或跨数据源的实时数据同步； 比较典型的应用场景是数据分析，比如实时数仓的建设和 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%B4%9D%E5%A3%B3%E6%89%BE%E6%88%BF%E9%9D%A2%E5%90%91%E6%8A%80%E6%9C%AF%E7%9A%84%E8%B4%9D%E5%A3%B3%E5%B9%B3%E5%8F%B0%E6%9E%B6%E6%9E%84%E6%BC%94%E8%BF%9B/ Mon, 14 Mar 2022 18:30:40 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%B4%9D%E5%A3%B3%E6%89%BE%E6%88%BF%E9%9D%A2%E5%90%91%E6%8A%80%E6%9C%AF%E7%9A%84%E8%B4%9D%E5%A3%B3%E5%B9%B3%E5%8F%B0%E6%9E%B6%E6%9E%84%E6%BC%94%E8%BF%9B/ 肖赞@贝壳找房 本文根据贝壳找房资深工程师肖赞老师在2020年"面向AI技术的工程架构实践"大会上的演讲速记整理而成。 1 贝壳OLAP平台架的构演化历程 如上图所示，贝壳OLAP平台架构的演化历程大致可以分成三个阶段： 第一个阶段是从 2015 年到 2016 年，Hive to MySQL的 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%BD%91%E6%98%93%E4%BA%91%E9%9F%B3%E4%B9%90%E6%95%B0%E4%BB%93%E6%B2%BB%E7%90%86%E4%B9%8B%E6%95%B0%E6%8D%AE%E4%BB%BB%E5%8A%A1%E9%87%8D%E6%9E%84%E5%AE%9E%E8%B7%B5/ Mon, 14 Mar 2022 18:12:39 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%BD%91%E6%98%93%E4%BA%91%E9%9F%B3%E4%B9%90%E6%95%B0%E4%BB%93%E6%B2%BB%E7%90%86%E4%B9%8B%E6%95%B0%E6%8D%AE%E4%BB%BB%E5%8A%A1%E9%87%8D%E6%9E%84%E5%AE%9E%E8%B7%B5/ 作者简介：冷面，网易云音乐资深数据开发工程师，长期从事大数据开发，数仓建设、模型设计、数据治理、数据应用和服务等工作。目前主要负责云音乐离线数仓建设、会员业务线上数据服务、离线/实时ABTEST系统开发。 导读： 云音乐数仓在经历了前期混沌摸索，中期建设完善，如今已逐步形成了一套适合 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%B3%B0%E5%80%BC%E4%BA%BF%E7%A7%92%E5%9C%A8%E4%BA%AC%E4%B8%9C%E7%9A%84%E5%BA%94%E7%94%A8%E4%B8%8E%E4%BC%98%E5%8C%96%E5%AE%9E%E8%B7%B5/ Mon, 14 Mar 2022 18:10:21 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%B3%B0%E5%80%BC%E4%BA%BF%E7%A7%92%E5%9C%A8%E4%BA%AC%E4%B8%9C%E7%9A%84%E5%BA%94%E7%94%A8%E4%B8%8E%E4%BC%98%E5%8C%96%E5%AE%9E%E8%B7%B5/ 分享嘉宾：付海涛 京东 技术专家 编辑整理：苏文进 怪兽充电 出品平台：DataFunTalk 导读： Flink是目前流式处理领域的热门引擎，在实时数仓、实时风控、实时推荐等多个场景有着广泛的应用。京东于2018年开始基于Flink+k8s深入打造高性能、稳定、可靠、易用的实时计算平台，支撑 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%98%BF%E9%87%8C%E5%9C%A8%E6%89%8B%E6%B7%98%E6%B5%81%E9%87%8F%E5%88%86%E6%9E%90%E4%B8%9A%E5%8A%A1%E5%AE%9E%E8%B7%B5/ Mon, 14 Mar 2022 17:53:40 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E9%98%BF%E9%87%8C%E5%9C%A8%E6%89%8B%E6%B7%98%E6%B5%81%E9%87%8F%E5%88%86%E6%9E%90%E4%B8%9A%E5%8A%A1%E5%AE%9E%E8%B7%B5/ 分享嘉宾：Jason Xu@阿里巴巴 编辑整理：夏仙森 出品平台：DataFunTalk 导读： 本文主要介绍手淘流量分析业务发展过程中，实时性业务分析需求的产生，实时分析目标的设定，如何进行技术的选型，以及如何基于ClickHouse构建系统架构和未来的业务预期。主要内容包括： 流量分析与 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%8A%80%E6%9C%AF%E9%87%91%E8%9E%8D%E6%95%B0%E4%BB%93%E4%BD%93%E7%B3%BB%E5%BB%BA%E8%AE%BE/ Mon, 14 Mar 2022 17:51:06 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%8A%80%E6%9C%AF%E9%87%91%E8%9E%8D%E6%95%B0%E4%BB%93%E4%BD%93%E7%B3%BB%E5%BB%BA%E8%AE%BE/ 文章作者：胡明昊 58金融 内容来源：58技术 导语: 本文讲述了金融数据仓库从无到有的整体设计思路，以及对数据建模、质量控制、元数据管理及开发规范各方面的经验思考，希望对大家在数仓建设工作方面有所帮助。 背景 自2018年以来，随着业务体系的不断丰富与发展，数据分析与应用需求越来越丰富，对 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%B6%88%E6%81%AF%E4%B8%AD%E9%97%B4%E4%BB%B6%E6%B6%88%E6%81%AF%E6%B6%88%E8%B4%B9%E4%BA%8C%E6%A8%A1%E5%BC%8F%E5%AE%9E%E7%8E%B0/ Mon, 14 Mar 2022 17:45:49 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%B6%88%E6%81%AF%E4%B8%AD%E9%97%B4%E4%BB%B6%E6%B6%88%E6%81%AF%E6%B6%88%E8%B4%B9%E4%BA%8C%E6%A8%A1%E5%BC%8F%E5%AE%9E%E7%8E%B0/ 摘要：在RocketMQ中，消息消费都是基于Pull消息方式，那么Push模式中又是如何实现Consumer端准实时消费的呢？ 在上一篇—“消息中间件—RocketMQ消息消费（一）”中，已经简要地介绍了下RocketMQ中“Pull和Push两种消费方式的简要流程”以及“Push https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%BF%AB%E6%89%8B%E4%B8%87%E4%BA%BF%E7%BA%A7%E5%88%AB%E9%9B%86%E7%BE%A4%E5%BA%94%E7%94%A8%E5%AE%9E%E8%B7%B5%E4%B8%8E%E6%8A%80%E6%9C%AF%E6%BC%94%E8%BF%9B%E4%B9%8B%E8%B7%AF/ Mon, 14 Mar 2022 17:32:53 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%BF%AB%E6%89%8B%E4%B8%87%E4%BA%BF%E7%BA%A7%E5%88%AB%E9%9B%86%E7%BE%A4%E5%BA%94%E7%94%A8%E5%AE%9E%E8%B7%B5%E4%B8%8E%E6%8A%80%E6%9C%AF%E6%BC%94%E8%BF%9B%E4%B9%8B%E8%B7%AF/ 赵健博 Kafka 系统在快手有着很广泛的应用，随着其业务的高速发展， Kafka 集群的规模也成指数增长，目前快手 Kafka 集群日消息处理总量达数万亿级别，峰值超过 1 亿 /s。与此同时，快手也面临了很多新问题与技术挑战。本文整理自快手高级架构师、大数据架构团队负责人赵健博在 QCon 全球软件开发大会（北京）2019 上的 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%B6%88%E6%81%AF%E4%B8%AD%E9%97%B4%E4%BB%B6%E6%B6%88%E6%81%AF%E5%AD%98%E5%82%A8%E4%BA%8C/ Mon, 14 Mar 2022 17:32:43 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%B6%88%E6%81%AF%E4%B8%AD%E9%97%B4%E4%BB%B6%E6%B6%88%E6%81%AF%E5%AD%98%E5%82%A8%E4%BA%8C/ http://www.6aiq.com/article/1563128272857 http://www.6aiq.com/article/1563128435731 http://www.6aiq.com/article/1563129642050 http://www.6aiq.com/article/1563129820252 http://www.6aiq.com/article/1563130068940 http://www.6aiq.com/article/1563130337444 http://www.6aiq.com/article/1563130479801 RokcetMQ文件存储设计架构_v2.jpg 上面图中假设Consumer端默认设置的是同一个ConsumerGroup，因此Consumer端线程采用的是负载订阅的方式进行消费。从架构图中可以总结出如下几个关键点： （1） 消息生产与消息消费相互分离，Producer https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E4%B8%81%E9%A6%99%E5%9B%AD%E7%94%B5%E5%95%86%E6%90%9C%E7%B4%A2%E7%9A%84%E8%AF%AD%E4%B9%89%E7%90%86%E8%A7%A3%E9%97%AE%E9%A2%98/ Mon, 14 Mar 2022 17:26:19 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E4%B8%81%E9%A6%99%E5%9B%AD%E7%94%B5%E5%95%86%E6%90%9C%E7%B4%A2%E7%9A%84%E8%AF%AD%E4%B9%89%E7%90%86%E8%A7%A3%E9%97%AE%E9%A2%98/ 丁香园大数据 稿 今天我们来聊一聊大数据时代的电商搜索问题，随着电商的普及，越来越多人开始在网上购物，电商搜索的目的在于如何从海量的商品当中找到用户需要的商品。目前，绝大多数的商品召回和排序都是基于embedding，如何构建商品向量、如何解决搜索词与商品名称之间的语义鸿沟问题、如何 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%80%A7%E8%83%BD%E8%B0%83%E4%BC%98%E6%80%BB%E7%BB%93/ Mon, 14 Mar 2022 17:24:56 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%80%A7%E8%83%BD%E8%B0%83%E4%BC%98%E6%80%BB%E7%BB%93/ 使用正确的 transformations操作 虽然开发者达到某一目标，可以通过不同的transformations操作，但是有时候不同的姿势，性能差异非常明显。优化姿势的总体目标是尽可能少的产生 shuffle， 和待被 shuffled data。因为shffule过程存在写盘和节点间网络IO的开销 repartition https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%B4%9D%E5%A3%B3%E4%B8%9A%E5%8A%A1%E6%95%B0%E6%8D%AE%E6%B2%BB%E7%90%86%E4%B8%AD%E5%8F%B0%E5%AE%9E%E8%B7%B5/ Mon, 14 Mar 2022 16:48:32 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%B4%9D%E5%A3%B3%E4%B8%9A%E5%8A%A1%E6%95%B0%E6%8D%AE%E6%B2%BB%E7%90%86%E4%B8%AD%E5%8F%B0%E5%AE%9E%E8%B7%B5/ 分享嘉宾：李清华 贝壳 资深产品经理 编辑整理：赵敏 出品平台：DataFunTalk 导读： 数据治理经过多年的沉淀，积累了比较完善的理论体系；但是落地时候，治理范围如何聚焦，数据产品如何定位、具象设计和推广运营，不同公司有着不同的设计实现。本文会结合贝壳找房近两年的业务数据中心建设经验， https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%B5%B5%E6%B5%B7%E6%BA%90%E5%B3%B0%E5%80%BC%E8%B6%85%E4%BA%BF%E7%A7%92%E5%9C%A8%E7%BE%8E%E5%9B%A2%E6%95%B0%E6%8D%AE%E5%B9%B3%E5%8F%B0%E7%9A%84%E5%AE%9E%E8%B7%B5/ Mon, 14 Mar 2022 16:42:17 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%B5%B5%E6%B5%B7%E6%BA%90%E5%B3%B0%E5%80%BC%E8%B6%85%E4%BA%BF%E7%A7%92%E5%9C%A8%E7%BE%8E%E5%9B%A2%E6%95%B0%E6%8D%AE%E5%B9%B3%E5%8F%B0%E7%9A%84%E5%AE%9E%E8%B7%B5/ 分享嘉宾：赵海源 美团 流存储工程师 编辑整理：刘明 慕华信息科技 出品平台：DataFunTalk 导读： 本文将介绍Kafka在美团数据平台的实践，主要内容包括：① Kafka在美团数据平台的发展现状和面临的挑战，主要是海量数据下如何保证读写延迟的问题，以及大规模的集群管理与优化；② 面对上述 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%BF%AB%E6%89%8B%E5%9C%A8%E5%8D%83%E4%BA%BF%E7%BA%A7%E7%94%A8%E6%88%B7%E7%89%B9%E5%BE%81%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90%E4%B8%AD%E7%9A%84%E5%BA%94%E7%94%A8%E4%B8%8E%E5%AE%9E%E8%B7%B5/ Mon, 14 Mar 2022 16:42:13 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%BF%AB%E6%89%8B%E5%9C%A8%E5%8D%83%E4%BA%BF%E7%BA%A7%E7%94%A8%E6%88%B7%E7%89%B9%E5%BE%81%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90%E4%B8%AD%E7%9A%84%E5%BA%94%E7%94%A8%E4%B8%8E%E5%AE%9E%E8%B7%B5/ 分享嘉宾：陈杨 快手 编辑整理：Hoh Xil 内容来源：BigData NoSQL 12th Meetup 出品社区：DataFun 快手建设 HBase 差不多有2年时间，在公司里面有比较丰富的应用场景：如短视频的存储、IM、直播里评论 feed 流等场景。本次只分享其中的一个应用场景：快手 HBase 在千亿级用户特征数据分析中的应用与实践。为什么分享 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%82%85%E8%BD%B6%E7%BD%91%E6%98%93%E6%95%B0%E5%B8%86%E4%BA%91%E5%8E%9F%E7%94%9F%E6%97%A5%E5%BF%97%E5%B9%B3%E5%8F%B0%E6%9E%B6%E6%9E%84%E5%AE%9E%E8%B7%B5/ Mon, 14 Mar 2022 16:39:48 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%82%85%E8%BD%B6%E7%BD%91%E6%98%93%E6%95%B0%E5%B8%86%E4%BA%91%E5%8E%9F%E7%94%9F%E6%97%A5%E5%BF%97%E5%B9%B3%E5%8F%B0%E6%9E%B6%E6%9E%84%E5%AE%9E%E8%B7%B5/ 分享嘉宾：傅轶 网易数帆 编辑整理：张德通 Treelab 出品平台：DataFunTalk 导读： 网易从2015年就开始了云原生的探索与实践，作为可观测性的重要一环，日志平台也经历了从主机到容器的演进，支撑了集团内各业务部门的大规模云原生化改造。本文会讲述在这个过程中我们遇到的问题，如何演进和改造， https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%B1%BD%E8%BD%A6%E4%B9%8B%E5%AE%B6%E5%9F%BA%E4%BA%8E%E7%9A%84%E5%AE%9E%E6%97%B6%E8%AE%A1%E7%AE%97%E5%B9%B3%E5%8F%B0%E5%BB%BA%E8%AE%BE%E5%AE%9E%E8%B7%B5/ Mon, 14 Mar 2022 16:39:47 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%B1%BD%E8%BD%A6%E4%B9%8B%E5%AE%B6%E5%9F%BA%E4%BA%8E%E7%9A%84%E5%AE%9E%E6%97%B6%E8%AE%A1%E7%AE%97%E5%B9%B3%E5%8F%B0%E5%BB%BA%E8%AE%BE%E5%AE%9E%E8%B7%B5/ 作者： 邸星星 摘要：本文整理自汽车之家实时计算平台负责人邸星星在 Flink Forward Asia 2021 平台建设专场的演讲。主要内容包括： 一、应用场景 我们的应用场景与其他公司很类似，涵盖了实时指标统计、监控预警、实时数据处理、实时用户行为、实时入湖、实时数据传输这几个方面： 实施指标统计包括实时的流量分析、车展大屏