2022年9月1日
1、应用场景分析 参考徐崴老师Flink项目 数据清洗【实时ETL】 数据报表 1.1、数据清洗【实时ETL】 1.1.1、需求分析 针对算法产生的日志数据进行清洗拆分 算法产生的日志数据是嵌套大JSON格式(json嵌套json),需要拆分打平 针对算法中的国家字段进行大区转换 最后把不同类型的……
阅读全文
2022年9月1日
1、应用场景分析 数据清洗【实时ETL】 数据报表 1.1、数据报表 1.1.1、架构图 1.1.2、需求分析 主要针对直播/短视频平台审核指标的统计 统计不同大区每1 min内过审(上架)的数据量 统计不同大区每1 min内未过审(下架)的数据量 统计不同大区每1 min内加黑名单的数据量 2、Data……
阅读全文
2022年9月1日
Flink_CDC搭建及简单使用 1.CDC简介: CDC (Change Data Capture) ,在广义的概念上,只要能捕获数据变更的技术,都可以称为 CDC 。但通常我们说的CDC 技术主要面向数据库(包括常见的mysql,Oracle, MongoDB等)的变更,是一种用于捕获数据库中数据变更的技术。……
阅读全文
2022年9月1日
Flink 操作场景 # Apache Flink 可以以多种方式在不同的环境中部署,抛开这种多样性而言,Flink 集群的基本构建方式和操作原则仍然是相同的。 在这篇文章里,你将会学习如何管理和运行 Flink 任务,了解如何部署和监控应用程序、Flink 如何从失败作业中进行恢复,同时你还会学习如何执行一些日常操作任务,如升级和……
阅读全文
2022年9月1日
数据模型 本文档主要从逻辑层面,描述 Doris 的数据模型,以帮助用户更好的使用 Doris 应对不同的业务场景。 基本概念 在 Doris 中,数据以表(Table)的形式进行逻辑上的描述。 一张表包括行(Row)和列(Column)。Row 即用户的一行数据。Column 用于描述一行数据中不同的字段。 Column 可以分为两大类:……
阅读全文
2022年9月1日
2.3 建表 使用 CREATE TABLE 命令建立一个表(Table)。更多详细参数可以查看: HELP CREATE TABLE; 首先切换数据库: USE example_db; Doris支持支持单分区和复合分区两种建表方式。 2.3.1 单分区 建立一个名字为 table1 的逻辑表。分桶列为 siteid,桶数为 10。 这个表的 schema 如下: siteid:类型是INT(4字节), 默认值为10 cit……
阅读全文
2022年9月1日
2.1 创建数据库 初始可以通过 root 或 admin 用户创建数据库: CREATE DATABASE example_db; 所有命令都可以使用 ‘HELP command;’ 查看到详细的语法帮助。如:HELP CREATE DATABASE; 如果不清楚命令的全名,可以使用 “help 命令某一字段” 进行模糊查询。如键入 ‘HELP CREATE’,可以匹配到 CREATE DATABASE, CREATE TABLE, CREATE USER 等命令。 数据库创建完成……
阅读全文
2022年9月1日
一.编译前准备 1.1 环境准备 主机配置: IP 主机名 部署 192.168.9.119 hw5 FE FS_Broker 192.168.9.120 hw6 BE FS_Broker 192.168.9.121 hw7 BE FS_Broker,FE Observer 192.168.9.122 hw8 BE FS_Broker 硬件配置: 每台主机:CPU4核、内存8G、硬盘150G 软件版本: 名称 版本 操作系统 CentOS release 7.8 (Final) 64位 JDK 1.11 yum install -y java-11-openjdk-devel.x86_64 ln -s /usr/lib/jvm/java-11-openjdk-11.0.13.0.8-1.el7_9.x86_64 /usr/lib/jvm/java11 vi /etc/profile JAVA_HOME=/usr/lib/jvm/java11 PATH=$JAVA_HOME/bin:$PATH CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export JAVA_HOME export PATH export CLASSPATH source /etc/profile 1.2 安装Docker 1.2.1 卸载旧版本 yum remove docker docker-common docker-selinux docker-engine 1.2.2 安装需要的软件包……
阅读全文
2022年9月1日
一. Doris简介 Apache Doris是一个现代化的MPP分析型数据库产品。仅需亚秒级响应时间即可获得查询结果,有效地支持实时数据分析。Apache Doris的分布式架构非常简洁,易于运维,并且可以支持10PB以上的超大数据集。 Apache Doris可以满足多种数据分析需求,例如固定历史报表,实时……
阅读全文