https://index.zshipu.com/geek/tags/Hbase/ Recent content in Hbase on 知识铺的博客 Hugo -- gohugo.io zh-CN Tue, 15 Mar 2022 10:50:13 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%BB%B4%E6%BB%B4%E5%9C%A8%E6%80%A7%E8%83%BD%E4%B8%8E%E5%8F%AF%E7%94%A8%E6%80%A7%E4%B8%8A%E7%9A%84%E6%8E%A2%E7%B4%A2%E4%B8%8E%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 10:50:13 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E6%BB%B4%E6%BB%B4%E5%9C%A8%E6%80%A7%E8%83%BD%E4%B8%8E%E5%8F%AF%E7%94%A8%E6%80%A7%E4%B8%8A%E7%9A%84%E6%8E%A2%E7%B4%A2%E4%B8%8E%E5%AE%9E%E8%B7%B5/ 桔妹导读：HBase作为Hadoop生态中表现较为突出的分布式在线数据存储产品，在滴滴有着非常广泛的应用，但同样存在比较突出的短板问题——例如可用性较弱、毛刺严重等，一定程度上限制了它的业务边界。本文主要介绍在此背景下，HBase团队近期进行的一些探索工作。 1. 背景 HBase 是一个基于 HDFS 的 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%90%8C%E5%9F%8E%E5%B9%B3%E5%8F%B0%E5%BA%94%E7%94%A8%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 09:59:34 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%90%8C%E5%9F%8E%E5%B9%B3%E5%8F%B0%E5%BA%94%E7%94%A8%E5%AE%9E%E8%B7%B5/ 58数据平台部 58技术 导读： 58同城大数据团队，鉴于目前线上大数据集群各个组件GC方面的问题，考虑逐步在适合的大数据组件上应用高版本JDK上的ZGC，目前已经在HBase集群上成功落地，在某些场景上有比较明显的效果。58同城HBase集群应用的JDK为腾讯公司开源的Tencent https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%A6%82%E4%BD%95%E7%A0%B4%E8%A7%A3%E7%BB%84%E5%90%88%E4%BD%BF%E7%94%A8%E9%81%87%E5%88%B0%E7%9A%84%E9%9A%BE%E9%A2%98/ Tue, 15 Mar 2022 09:28:42 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%A6%82%E4%BD%95%E7%A0%B4%E8%A7%A3%E7%BB%84%E5%90%88%E4%BD%BF%E7%94%A8%E9%81%87%E5%88%B0%E7%9A%84%E9%9A%BE%E9%A2%98/ 一.背景介绍 HBase与ElasticSearch是现代应用在处理海量数据的技术架构会经常被使用的两款产品，其中HBase是一个分布式KV系统，具有灵活Schema、水平扩展、低成本、高并发的优势，但在复杂查询、分析能力方面相对比较弱，特别适合海量半结构化、结构化数据的低成本存储 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%86%99%E5%90%9E%E5%90%90%E5%9C%BA%E6%99%AF%E8%B5%84%E6%BA%90%E6%B6%88%E8%80%97%E9%87%8F%E5%8C%96%E5%88%86%E6%9E%90%E5%8F%8A%E4%BC%98%E5%8C%96/ Tue, 15 Mar 2022 09:06:48 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%86%99%E5%90%9E%E5%90%90%E5%9C%BA%E6%99%AF%E8%B5%84%E6%BA%90%E6%B6%88%E8%80%97%E9%87%8F%E5%8C%96%E5%88%86%E6%9E%90%E5%8F%8A%E4%BC%98%E5%8C%96/ 一. 概述 HBase 是一个基于 Google BigTable 论文设计的高可靠性、高性能、可伸缩的分布式存储系统。 网上关于 HBase 的文章很多，官方文档介绍的也比较详细，本篇文章不介绍HBase基本的细节。 本文从 HBase 写链路开始分析，然后针对少量随机读和海量随机写入场景入手，全方面量化分析各种资源的开销, 从而做到以下两点： 在给定 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%BD%91%E6%98%93%E4%BA%91%E9%9F%B3%E4%B9%90%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E8%BF%9B%E9%98%B6%E4%B9%8B%E8%B7%AF/ Tue, 15 Mar 2022 09:02:32 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E7%BD%91%E6%98%93%E4%BA%91%E9%9F%B3%E4%B9%90%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E8%BF%9B%E9%98%B6%E4%B9%8B%E8%B7%AF/ 导读：本篇文章是[ 2021年网易云音乐实时计算平台发展和挑战]的姊妹篇，由网易云音乐数据平台开发专家大愚分享，为大家介绍云音乐实时数仓技术改造以及未来的一些规划。 云音乐从2018年开始搭建实时计算平台，经过两年的发展实时计算已经渗透到云音乐的各个业务当中： 运营需要实时的统计报表做 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E4%B8%80%E6%9D%A1%E6%95%B0%E6%8D%AE%E7%9A%84%E4%B9%8B%E6%97%85%E7%AE%80%E6%98%8E%E5%85%A5%E9%97%A8%E6%95%99%E7%A8%8B%E5%BC%80%E7%AF%87/ Tue, 15 Mar 2022 06:59:01 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E4%B8%80%E6%9D%A1%E6%95%B0%E6%8D%AE%E7%9A%84%E4%B9%8B%E6%97%85%E7%AE%80%E6%98%8E%E5%85%A5%E9%97%A8%E6%95%99%E7%A8%8B%E5%BC%80%E7%AF%87/ 一些常见的HBase新手问题 什么样的数据适合用HBase来存储？ 既然HBase也是一个数据库，能否用它将现有系统中昂贵的Oracle替换掉？ 存放于HBase中的数据记录，为何不直接存放于HDFS之上？ 能否直接使用HBase来存储文件数据？ Region(HBase中的数据分片)迁移 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E4%B8%80%E6%9D%A1%E6%95%B0%E6%8D%AE%E7%9A%84%E4%B9%8B%E6%97%85%E7%AE%80%E6%98%8E%E5%85%A5%E9%97%A8%E6%95%99%E7%A8%8B%E5%85%A8%E6%B5%81%E7%A8%8B/ Tue, 15 Mar 2022 06:59:00 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E4%B8%80%E6%9D%A1%E6%95%B0%E6%8D%AE%E7%9A%84%E4%B9%8B%E6%97%85%E7%AE%80%E6%98%8E%E5%85%A5%E9%97%A8%E6%95%99%E7%A8%8B%E5%85%A8%E6%B5%81%E7%A8%8B/ 如果将上篇内容理解为一个冗长的"铺垫"，那么，从本文开始，“剧情"才开始正式展开。本文基于所给出的样例数据，介绍了将数据从Client写到RegionServer的全流程。 本文整体思路： 1. 前文内容回顾 2. 示例数据 3. HBase可选接口介绍 4. 表 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E4%B8%8E%E7%B4%A2%E5%BC%95%E8%AE%BE%E8%AE%A1/ Tue, 15 Mar 2022 03:26:44 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E4%B8%8E%E7%B4%A2%E5%BC%95%E8%AE%BE%E8%AE%A1/ 分享嘉宾： 毕杰山** ** 华为云 主任工程师 内容来源： HBase MeetUp《HBase RowKey与索引设计》 出品社区： DataFun 今天分享的内容主要是HBase RowKey与索引设计相关的一些技巧、原则和相关案例。将分以下四部分分析，第一部分简单介绍HBase基础知识，第二部分探讨合理的需求调研方法 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9B%9E%E9%A1%BE%E4%BA%91%E4%B8%8A%E5%86%B7%E7%83%AD%E5%88%86%E7%A6%BB%E5%AE%9E%E8%B7%B5/ Mon, 14 Mar 2022 18:02:18 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9B%9E%E9%A1%BE%E4%BA%91%E4%B8%8A%E5%86%B7%E7%83%AD%E5%88%86%E7%A6%BB%E5%AE%9E%E8%B7%B5/ 本文根据阿里云技术专家郭泽晖在中国HBase技术社区第3届MeetUp杭州站中分享的《云上HBase冷热分离实践》编辑整理而成。 今天分享的内容分为两个方面，首先会介绍下冷数据的经典场景，以及如果使用开源的HBase应该如何实现，最后介绍下HBase在云端的实现方案。 冷数据定义就是 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9B%9E%E9%A1%BE%E5%9C%A8%E8%B4%9D%E5%A3%B3%E6%89%BE%E6%88%BF%E7%9A%84%E5%AE%9E%E8%B7%B5%E7%BB%8F%E9%AA%8C/ Mon, 14 Mar 2022 18:00:59 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9B%9E%E9%A1%BE%E5%9C%A8%E8%B4%9D%E5%A3%B3%E6%89%BE%E6%88%BF%E7%9A%84%E5%AE%9E%E8%B7%B5%E7%BB%8F%E9%AA%8C/ 本文转发于 DataFunTalk 公众号 本文根据贝壳找房邓钫元老师在中国HBase技术社区第二届MeetUp：“HBase技术解析及应用实践”中分享的《HBase在贝壳找房的实践经验》编辑整理而成，在未改变原意的基础上稍做整理。 钫元老师 首先给大家介绍一下贝壳，贝壳是链家一个房地产品牌，链家的愿景是把贝 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%BF%AB%E6%89%8B%E5%9C%A8%E5%8D%83%E4%BA%BF%E7%BA%A7%E7%94%A8%E6%88%B7%E7%89%B9%E5%BE%81%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90%E4%B8%AD%E7%9A%84%E5%BA%94%E7%94%A8%E4%B8%8E%E5%AE%9E%E8%B7%B5/ Mon, 14 Mar 2022 16:42:13 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%BF%AB%E6%89%8B%E5%9C%A8%E5%8D%83%E4%BA%BF%E7%BA%A7%E7%94%A8%E6%88%B7%E7%89%B9%E5%BE%81%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90%E4%B8%AD%E7%9A%84%E5%BA%94%E7%94%A8%E4%B8%8E%E5%AE%9E%E8%B7%B5/ 分享嘉宾：陈杨 快手 编辑整理：Hoh Xil 内容来源：BigData NoSQL 12th Meetup 出品社区：DataFun 快手建设 HBase 差不多有2年时间，在公司里面有比较丰富的应用场景：如短视频的存储、IM、直播里评论 feed 流等场景。本次只分享其中的一个应用场景：快手 HBase 在千亿级用户特征数据分析中的应用与实践。为什么分享 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E4%B8%80%E6%9D%A1%E6%95%B0%E6%8D%AE%E7%9A%84%E4%B9%8B%E6%97%85%E7%AE%80%E6%98%8E%E5%85%A5%E9%97%A8%E6%95%99%E7%A8%8B%E4%B8%8E/ Mon, 14 Mar 2022 16:40:33 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E4%B8%80%E6%9D%A1%E6%95%B0%E6%8D%AE%E7%9A%84%E4%B9%8B%E6%97%85%E7%AE%80%E6%98%8E%E5%85%A5%E9%97%A8%E6%95%99%E7%A8%8B%E4%B8%8E/ Flush与Compaction其实属于Write流程的继续，所以本文应该称之为" Write后传"。在2.0版本中，最主要的变化就是新增了In-memory Flush/Compaction，而DateTieredCompaction并不算2.0新加入的特性，2