https://index.zshipu.com/geek/tags/Doris/ Recent content in Doris on 知识铺的博客 Hugo -- gohugo.io zh-CN Sat, 03 Sep 2022 09:09:05 +0800 https://index.zshipu.com/geek/post/bi/doris/Doris%E6%A0%B8%E5%BF%83%E5%8A%9F%E8%83%BD%E4%BB%8B%E7%BB%8D%E6%95%B0%E6%8D%AE%E6%A8%A1%E5%9E%8B%E5%92%8C%E7%89%A9%E5%8C%96%E8%A7%86%E5%9B%BE/ Sat, 03 Sep 2022 09:09:05 +0800 https://index.zshipu.com/geek/post/bi/doris/Doris%E6%A0%B8%E5%BF%83%E5%8A%9F%E8%83%BD%E4%BB%8B%E7%BB%8D%E6%95%B0%E6%8D%AE%E6%A8%A1%E5%9E%8B%E5%92%8C%E7%89%A9%E5%8C%96%E8%A7%86%E5%9B%BE/ Doris是什么 首先 Doris 是一个有着MPP架构的分析型数据库产品。对于PB数量级、结构化数据可以做到亚秒级查询响应。使用上兼容MySQL协议，语法是标准的SQL。Doris本身不依赖任何其他系统，相比Hadoop生态产品更易于运维。 应用场景包括：固定历史报表分析、实时数据分析、交互式 https://index.zshipu.com/geek/post/bi/doris/%E5%A4%A7%E6%95%B0%E6%8D%AE%E4%B9%8B%E5%88%9D%E8%AF%86Doris%E4%B8%80/ Fri, 02 Sep 2022 09:09:05 +0800 https://index.zshipu.com/geek/post/bi/doris/%E5%A4%A7%E6%95%B0%E6%8D%AE%E4%B9%8B%E5%88%9D%E8%AF%86Doris%E4%B8%80/ 一、Doris简介 Apache Doris是一个现代化的基于MPP（大规模并行处理）技术的分析型数据库产品，MPP技术即将同一个任务并行的分散到多个服务器和节点上，每个节点计算完成后，在将各自的结果汇总在一起得到最终的结果，与Hadoop相似，效率很高，亚秒级内即可查询出结果。 二、核心特性 基 https://index.zshipu.com/geek/post/bi/doris/004-Apache-Doris-%E6%95%B0%E6%8D%AE%E6%A8%A1%E5%9E%8B/ Thu, 01 Sep 2022 09:16:05 +0800 https://index.zshipu.com/geek/post/bi/doris/004-Apache-Doris-%E6%95%B0%E6%8D%AE%E6%A8%A1%E5%9E%8B/ 数据模型 本文档主要从逻辑层面，描述 Doris 的数据模型，以帮助用户更好的使用 Doris 应对不同的业务场景。 基本概念 在 Doris 中，数据以表（Table）的形式进行逻辑上的描述。 一张表包括行（Row）和列（Column）。Row 即用户的一行数据。Column 用于描述一行数据中不同的字段。 Column 可以分为两大类： https://index.zshipu.com/geek/post/bi/doris/003-Apache-Doris-%E5%88%9B%E5%BB%BA%E8%A1%A8/ Thu, 01 Sep 2022 09:14:05 +0800 https://index.zshipu.com/geek/post/bi/doris/003-Apache-Doris-%E5%88%9B%E5%BB%BA%E8%A1%A8/ 2.3 建表 使用 CREATE TABLE 命令建立一个表(Table)。更多详细参数可以查看: HELP CREATE TABLE; 首先切换数据库: USE example_db; Doris支持支持单分区和复合分区两种建表方式。 2.3.1 单分区 建立一个名字为 table1 的逻辑表。分桶列为 siteid，桶数为 10。 这个表的 schema 如下： siteid：类型是INT（4字节）, 默认值为10 cit https://index.zshipu.com/geek/post/bi/doris/002-Apache-Doris-%E5%88%9B%E5%BB%BA%E6%95%B0%E6%8D%AE%E5%BA%93/ Thu, 01 Sep 2022 09:12:05 +0800 https://index.zshipu.com/geek/post/bi/doris/002-Apache-Doris-%E5%88%9B%E5%BB%BA%E6%95%B0%E6%8D%AE%E5%BA%93/ 2.1 创建数据库 初始可以通过 root 或 admin 用户创建数据库： CREATE DATABASE example_db; 所有命令都可以使用 ‘HELP command;’ 查看到详细的语法帮助。如：HELP CREATE DATABASE; 如果不清楚命令的全名，可以使用 “help 命令某一字段” 进行模糊查询。如键入 ‘HELP CREATE’，可以匹配到 CREATE DATABASE, CREATE TABLE, CREATE USER 等命令。 数据库创建完成 https://index.zshipu.com/geek/post/bi/doris/001-Apache-Doris-%E5%AE%89%E8%A3%85/ Thu, 01 Sep 2022 09:10:05 +0800 https://index.zshipu.com/geek/post/bi/doris/001-Apache-Doris-%E5%AE%89%E8%A3%85/ 一.编译前准备 1.1 环境准备 主机配置: IP 主机名 部署 192.168.9.119 hw5 FE FS_Broker 192.168.9.120 hw6 BE FS_Broker 192.168.9.121 hw7 BE FS_Broker,FE Observer 192.168.9.122 hw8 BE FS_Broker 硬件配置： 每台主机：CPU4核、内存8G、硬盘150G 软件版本： 名称 版本 操作系统 CentOS release 7.8 (Final) 64位 JDK 1.11 yum install -y java-11-openjdk-devel.x86_64 ln -s /usr/lib/jvm/java-11-openjdk-11.0.13.0.8-1.el7_9.x86_64 /usr/lib/jvm/java11 vi /etc/profile JAVA_HOME=/usr/lib/jvm/java11 PATH=$JAVA_HOME/bin:$PATH CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export JAVA_HOME export PATH export CLASSPATH source /etc/profile 1.2 安装Docker 1.2.1 卸载旧版本 yum remove docker docker-common docker-selinux docker-engine 1.2.2 安装需要的软件包 https://index.zshipu.com/geek/post/bi/doris/000-Apache-Doris-%E7%AE%80%E4%BB%8B/ Thu, 01 Sep 2022 09:09:05 +0800 https://index.zshipu.com/geek/post/bi/doris/000-Apache-Doris-%E7%AE%80%E4%BB%8B/ 一. Doris简介 Apache Doris是一个现代化的MPP分析型数据库产品。仅需亚秒级响应时间即可获得查询结果，有效地支持实时数据分析。Apache Doris的分布式架构非常简洁，易于运维，并且可以支持10PB以上的超大数据集。 Apache Doris可以满足多种数据分析需求，例如固定历史报表，实时 https://index.zshipu.com/geek/post/bi/doris/Apache-Doris-%E6%98%AF%E4%B8%80%E4%B8%AA%E5%9F%BA%E4%BA%8E-MPP-%E6%9E%B6%E6%9E%84%E7%9A%84%E9%AB%98%E6%80%A7%E8%83%BD%E5%AE%9E%E6%97%B6%E7%9A%84%E5%88%86%E6%9E%90%E5%9E%8B%E6%95%B0%E6%8D%AE%E5%BA%93/ Wed, 17 Aug 2022 09:14:05 +0800 https://index.zshipu.com/geek/post/bi/doris/Apache-Doris-%E6%98%AF%E4%B8%80%E4%B8%AA%E5%9F%BA%E4%BA%8E-MPP-%E6%9E%B6%E6%9E%84%E7%9A%84%E9%AB%98%E6%80%A7%E8%83%BD%E5%AE%9E%E6%97%B6%E7%9A%84%E5%88%86%E6%9E%90%E5%9E%8B%E6%95%B0%E6%8D%AE%E5%BA%93/ 版本：1.1 快速开始 Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景，这个简短的指南将告诉你如何下载 Doris 最新稳定版本，在单节点上安装并运行它， https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E4%BD%9C%E4%B8%9A%E5%B8%AE%E5%9F%BA%E4%BA%8E%E7%9A%84%E6%95%B0%E4%BB%93%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 09:06:35 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E4%BD%9C%E4%B8%9A%E5%B8%AE%E5%9F%BA%E4%BA%8E%E7%9A%84%E6%95%B0%E4%BB%93%E5%AE%9E%E8%B7%B5/ 1 背景 作业帮大数据团队主要负责建设公司级数仓，向公司各个重要产品线（拉新、教学、BI等）提供面向业务的数据信息，如到课时长、答题情况等。在过去半年多时间内，我们基于Apache Doris，构建了数仓实时查询系统。本文总结并分享下期间的工作内容，也欢迎大家一起讨论。 典型的数仓从逻辑 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9F%BA%E4%BA%8E%E7%9A%84%E5%B0%8F%E7%B1%B3%E5%A2%9E%E9%95%BF%E5%88%86%E6%9E%90%E5%B9%B3%E5%8F%B0%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 09:06:22 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9F%BA%E4%BA%8E%E7%9A%84%E5%B0%8F%E7%B1%B3%E5%A2%9E%E9%95%BF%E5%88%86%E6%9E%90%E5%B9%B3%E5%8F%B0%E5%AE%9E%E8%B7%B5/ 以下文章来源于小米技术 ，作者蔡聪辉&钟云 小米技术 小米云平台部，主要分享云存储、云计算、系统、网络、运维、私有云、安全、数据库、内核等内容，欢迎感兴趣的朋友们加入！ 1、背景 随着小米互联网业务的发展，各个产品线利用用户行为数据对业务进行增长分析的需求越来越迫切。显然，让每个业 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9C%A8%E4%BA%AC%E4%B8%9C%E6%90%9C%E7%B4%A2%E5%AE%9E%E6%97%B6%E4%B8%AD%E7%9A%84%E5%BA%94%E7%94%A8%E5%AE%9E%E8%B7%B5/ Tue, 15 Mar 2022 09:03:22 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%9C%A8%E4%BA%AC%E4%B8%9C%E6%90%9C%E7%B4%A2%E5%AE%9E%E6%97%B6%E4%B8%AD%E7%9A%84%E5%BA%94%E7%94%A8%E5%AE%9E%E8%B7%B5/ 1、前言 本文讨论了京东搜索在实时流量数据分析方面，利用Apache Flink和Apache Doris进行的探索和实践。流式计算在近些年的热度与日俱增，从Google Dataflow论文的发表，到Apache Flink计算引擎逐渐站到舞台中央，再到Apache Druid等实时分析型