002 Flink 实战案例开发(一):数据清洗

1、应用场景分析 参考徐崴老师Flink项目 数据清洗【实时ETL】 数据报表 1.1、数据清洗【实时ETL】 1.1.1、需求分析 针对算法产生的日志数据进行清洗拆分 算法产生的日志数据是嵌套大JSON格式(json嵌套json),需要拆分打平 针对算法中的国家字段进行大区转换 最后把不同类型的……

阅读全文

003 Flink 实战案例开发(二):数据报表

1、应用场景分析 数据清洗【实时ETL】 数据报表 1.1、数据报表 1.1.1、架构图 1.1.2、需求分析 主要针对直播/短视频平台审核指标的统计 统计不同大区每1 min内过审(上架)的数据量 统计不同大区每1 min内未过审(下架)的数据量 统计不同大区每1 min内加黑名单的数据量 2、Data……

阅读全文

001 Flink_CDC搭建及简单使用

Flink_CDC搭建及简单使用 1.CDC简介: CDC (Change Data Capture) ,在广义的概念上,只要能捕获数据变更的技术,都可以称为 CDC 。但通常我们说的CDC 技术主要面向数据库(包括常见的mysql,Oracle, MongoDB等)的变更,是一种用于捕获数据库中数据变更的技术。……

阅读全文

000 Flink 第一次接触

Flink 操作场景 # Apache Flink 可以以多种方式在不同的环境中部署,抛开这种多样性而言,Flink 集群的基本构建方式和操作原则仍然是相同的。 在这篇文章里,你将会学习如何管理和运行 Flink 任务,了解如何部署和监控应用程序、Flink 如何从失败作业中进行恢复,同时你还会学习如何执行一些日常操作任务,如升级和……

阅读全文

004 Apache Doris 数据模型

数据模型 本文档主要从逻辑层面,描述 Doris 的数据模型,以帮助用户更好的使用 Doris 应对不同的业务场景。 基本概念 在 Doris 中,数据以表(Table)的形式进行逻辑上的描述。 一张表包括行(Row)和列(Column)。Row 即用户的一行数据。Column 用于描述一行数据中不同的字段。 Column 可以分为两大类:……

阅读全文

003 Apache Doris 创建表

2.3 建表 使用 CREATE TABLE 命令建立一个表(Table)。更多详细参数可以查看: HELP CREATE TABLE; 首先切换数据库: USE example_db; Doris支持支持单分区和复合分区两种建表方式。 2.3.1 单分区 建立一个名字为 table1 的逻辑表。分桶列为 siteid,桶数为 10。 这个表的 schema 如下: siteid:类型是INT(4字节), 默认值为10 cit……

阅读全文

002 Apache Doris 创建数据库

2.1 创建数据库 初始可以通过 root 或 admin 用户创建数据库: CREATE DATABASE example_db; 所有命令都可以使用 ‘HELP command;’ 查看到详细的语法帮助。如:HELP CREATE DATABASE; 如果不清楚命令的全名,可以使用 “help 命令某一字段” 进行模糊查询。如键入 ‘HELP CREATE’,可以匹配到 CREATE DATABASE, CREATE TABLE, CREATE USER 等命令。 数据库创建完成……

阅读全文

001 Apache Doris 安装

一.编译前准备 1.1 环境准备 主机配置: IP 主机名 部署 192.168.9.119 hw5 FE FS_Broker 192.168.9.120 hw6 BE FS_Broker 192.168.9.121 hw7 BE FS_Broker,FE Observer 192.168.9.122 hw8 BE FS_Broker 硬件配置: 每台主机:CPU4核、内存8G、硬盘150G 软件版本: 名称 版本 操作系统 CentOS release 7.8 (Final) 64位 JDK 1.11 yum install -y java-11-openjdk-devel.x86_64 ln -s /usr/lib/jvm/java-11-openjdk-11.0.13.0.8-1.el7_9.x86_64 /usr/lib/jvm/java11 vi /etc/profile JAVA_HOME=/usr/lib/jvm/java11 PATH=$JAVA_HOME/bin:$PATH CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export JAVA_HOME export PATH export CLASSPATH source /etc/profile 1.2 安装Docker 1.2.1 卸载旧版本 yum remove docker docker-common docker-selinux docker-engine 1.2.2 安装需要的软件包……

阅读全文

000 Apache Doris 简介

一. Doris简介 Apache Doris是一个现代化的MPP分析型数据库产品。仅需亚秒级响应时间即可获得查询结果,有效地支持实时数据分析。Apache Doris的分布式架构非常简洁,易于运维,并且可以支持10PB以上的超大数据集。 Apache Doris可以满足多种数据分析需求,例如固定历史报表,实时……

阅读全文

最近文章

福利派送

分类

标签

2027 360搜索 401(k) 58同城 5G 820RR 9A1000 ABC Abtest AB测试 AdaBoost AdaDeltaW AdamW AdvancedFeaturesOfNetty AFM模型 Agent AI AI4S AIGC AILab Airbnb AI人脸 AI代理 AI办公 AI可靠性 AI基础设施 AI客服 AI平台 AI应用 AI推理 AI搜索 AI模型 AI爬虫 AI社交 AI竞赛 AI算力 AI素材管理 AI补丁 AI训练 AI识别 AI音乐 AKF架构 Alink AlmaLinux Android Android 17 ANN AnnotationFormatterFactory Announcement AOF AOP Apache ApacheFlink Apollo App Store Apple Music Apple Watch AQS ArchitectureDesign AresDB Arm ASR Astro AUC Augur Automaton AutoML AWS Axum Bagging Bandits Basic BERT BI BigGAN BIMI BI平台 Boosting BPR CachyOS Canva Checkpoint Chrome CI Clazz ClickHouse Cluster CNN Collection ConcurrentCoding ConcurrentProgramming Condition CPU CRF Css Cto CTR CtrlTool CTR模型 CTR预估 CV CVPR Cybercab DDD DDD实战 DeepFFM DeepFM DeepFM模型 DesignPattern Devops Dgraph DIN DKN模型 DMARC DMP平台 DNS Docker Docs Doris DPP DRN Druid DSP DSSM Dubbo DynamoDB EE问题 Elasticsearch ELK ELMo Embedding EncodingSpecification Epoll ESR ESSM ETL EVTOL Faraday FCC Feed流 FFM FFM模型 Firefox FixedBitSet FixMatch Flink Flutter FM FM模型 Format Framer Motion FreeWheel FST FTRL FullGC Galaxy GAN GBDT GBDT+LR融合 GBM GC Gemma Geolocation GGUF Git GitHub Actions Gitlab GNN Go Golang Google GPU GPU直通 Graphql GraphScope Grok GRU4REC GTA6 Ha3 Hadoop HappyShrimp HarmonyOS HarmonyOS 7 HBA Hbase HDD Hologres HTML Hystrix Iceberg Id Software IEC ImageNet Impala InnoDB IntBlockPool IoC IOTechnologyBase IPhone IPhone 18 Pro IP联动 IRGAN IT博士 IT移民 JanusGraph Java JavaScript Jdbc JDK JS JSON Kafka KB5121003 KBQA KCD Kryptix Kubernetes KV存储 Lab LambdaMART Laravel LDA LearningExperience LeetCode Ling-3.0 LinUCB方法 Linux LLM LruCache LSTM LSTM网络 Lucence Lucene LV MB² Message Meta Milvus MKR模型 MLflow MMoE MMORPG Mock Moderna MoE MRNA MRR Mvc Mybatis MySQL Nacos NASA NDCG NER Netty Netty主要组件源码分析 Netty多协议开发 Netty技术细节源码分析 Netty编解码 Nexp NeXT NextJS NFC Nifi NIO NIPS NLP Node2vec NPU NumPy OCR OKR Olap One-Hot OpenRouter OPPO Oss Ox Alpha PageRank Parser PersonalExperience PHP Pinot PlaceholderResolver Postgres PostgreSQL Prime Air Printer PropertySource Proxmox PS Plus PS5 Pulsar Pura X View Push系统 Python Pytorch Q&A Que2Search Query扩展 Query理解 Query纠错 R-Tree React ReactJS Reactor Redis Region Registry Remote RippleNet RMI Robotaxi ROC RocketMQ Rokky调研 Roth转换 Rpc RTree Rust R星 S26 FE S3 Scala SD Select Sensor Tower Sentinel Serverless SHAP Sharding SIGAI SimCLR SIMD Skleam Softmax Solr Spark SPI Spirit Airlines SPOF Spring Spring Boot Spring5新特性 SpringBoot SpringBootBatch SpringCloud SpringMVC SpringSecurity SpringTransaction Spring整体脉络 Spring源码故事(瞎编版) Sqllit SSD Stable Diffusion Stage Storm Storybook Stripe SVM Swift Systemd Tailwind Tailwind CSS TCP粘拆包 TensorFlow TFServing TikTok Tomcat Topk Trace Transformer TurboQuant TurboSearch TX Typora UI组件 Unsloth UUID UX Venmo Vibe-Coding Visa Vite Vivo Web3 WebRTC Web开发 Whoosh Wide&Deep Windows 11 Windows 7 Word2vec WPS AI WRC 2026 X86 XAI XDeepFM XDL XGBoost XLNet Yoo视频 YoshuaBengio YubiKey ZeroSearch Zookeeper 一致性 三星 上海楼市 丑小鸭定理 世界机器人大会 业务 业务线 东风 个人财务 个性化推荐 个性化海报 中关村 中国 中国市场 中国手游 中情局 中文分词 中文纠错 中欧经贸 中端手机 中间件 主动降噪 主题建模 乱码 事件驱动架构 事务 云原生 云电脑 云计算 亚马逊 交叉验证 产业化 产业升级 享界G9 京东 人工智能 人机问答 人民币汇率 代码评审 代际沟通 代际矛盾 任务管理器 企业AI应用 企业安全 企业治理 企业级 会话撤销 传统纹样 伽马射线 低代码 余承东 供应链 依存句法分析 信任危机 信息检索 信息流推荐 倒排索引 倒排表 假设检验 僵尸卡 儿童心理 光子芯片 光学计算 免费工具 全文搜索 全文索引 全民K歌 全球收入 全链路压测 公共文化资源 公共资源 公平锁 公积金 公章 关税 关系 兴趣 具身智能 内存优化 内存管理 内存行业 内容分发 内容挖掘 内容理解 内容生态 内核 冯骥 决策树 冷却 冷启动 凭证安全 出版商 出轨 分层实验 分布式 分布式事务 分布式系统 分布式锁 分词 创业 利率 制度经济学 前端工具链 前端构建 功能更新 加密 加密货币 加密迁移 加州理工学院 加息 加拿大 加权融合 动力电池 北京 北京知产法院 北欧 北汽 区块 区块链 华为 华为乾崑 华强北 华裔律师 协同记忆网络 协同过滤 协方差 单元测试 单调队列 博士 博士offer 卡顿 压岁钱 压测 原则 去库存 县城校区 参数校验 双塔模型 反作弊 反欺诈 反爬虫 反脆弱 发动机安全 发动机试车 发射延期 发布会 变量 召回 召回率 可回收火箭 可持续 可持续性 可理解性 可维修性 可维护性 可观测性 可解释性 司法部 合约 合约探测 吉利 名校 后厂村 后量子密码学 向量召回 向量搜索 向量数据库 向量检索 向量索引 吴恩达 命名实体识别 哈佛大学 响应式编程 唐SUV 商业化 商业失败 商业航天 商标法 商标纠纷 商汤科技 喜羊羊与灰太狼 回归模型 因果分析 固态电池 国产单机 国产算力 国产芯片 国轩高科 国际标准 图像检索 图像识别 图数据库 图灵平台 图片翻译 图计算 在线学习 在线工具 地球科学 坐标回归 垂直起降机场 城市空中交通 域外管辖 基于Netty开发服务端及客户端 基因编辑 基础支持层 增强运动会 增量学习 多多 多密钥管理 多模态 多目标优化 大学生 大数据 大数据开发 大模型 大模型推理 大氧化事件 天文台 太空农业 太空救援 头条 奕境X9 奥卡姆剃刀 好玩 媒体监管 嫦娥七号 存储市场 存储芯片 学习能力 学习资料 学习资源 学会提问 学术争议 学练闭环 学费支付 宇树科技 安全 安全漏洞 安全设计 安卓 定时任务 实体识别 实时推荐 实时数仓 实时数据 实时日志收集 实时计算 实机演示 实验平台 客服 家庭SUV 家庭伦理 家庭财务 容灾体系建设 密码管理 对比学习 对话系统 小城市 小米 小米搜索 小群效应 就业 屏占比 工会 工作 工程实践 差异化策略 市场前景 布隆过滤器 帮帮 干净代码 干细胞 平台权力 年轻人 年轻人社区 广告 广告系统 序列标注 底层原理 建模调参 开发工具 开发者 开发者工具 开发者生态 开源 开源数据集 开源模型 开源项目 异常检测 异步IO 张嘉佳 张雪机车 强化学习 归一化 形态创新 待分类 微信 微信封禁 微控制器 微服务 微波回传 微电网 微软 微软EXP 微软亚洲研究院 快手游戏 思维 性价比 性能 性能优化 性能测试 情感分析 意图识别 成本 成都车展 房租 手机号 手机形态 技术 技术依赖 技术路线 技术转型 技术选型 技能恢复 投资建议 拆分 招聘 拼写纠正 拼多多 持续交付 持续集成 损失函数 授权 掉帧 掌机 排序 排序模型 排队 探月工程 控制权 推理系统 推荐 推荐理由 推荐系统 推送平台 提问的智慧 搜索 搜索广告 搜索引擎 搜索排序 搜索架构 搜索系统 摩托车召回 支付 支付安全 支持向量 支持向量机 收购 故障排查 教育 教育产品 教育公平 教育资源 数仓体系 数仓平台 数据中台 数据中心 数据仓库 数据分析 数据分析平台 数据同步 数据安全 数据平台 数据库 数据指标 数据挖掘 数据收购 数据治理 数据流 数据湖 数据科学 数据结构 数据访问 数据隐私 数据集 数据驱动 文字识别 文本分类 文本情感分类 文本挖掘 文本纠错 文本表征 新国标 新能源 新能源SUV 新能源车 新闻推荐 方法论 无人机 无人机配送 无服务器 日志处理 日志架构 日志检索 日志监控 日期处理 时序特征挖掘 明道云 智慧物流 智界RX 智能合约 智能客服 智能座舱 智能物流 智能语音 智能问答 智能预警 智谱 更新 月球 月球南极 服务 本地化 本地部署 朱雀三号 机器人 机器学习 机器学习爱好者 机器学习面试题 机器翻译 机器视觉 机器阅读 权力集中 权限管理 李国庆 材料科学 条件随机场 架构 架构师 标签 标签平滑 标签识别 标签选择 校招 样本 核心处理层 检查清单 检索引擎 森海塞尔 槽位识别 模型剪枝 模型压缩 模型融合 模型评估 模型部署 模型预估 模式匹配 模式识别 欧洲游客 欧盟 正则化 比亚迪 氧气 水冰 水稻 水资源 汽车召回 汽车设计 沙特 沪八条 泄露事件 法律 法律监管 泛型 注意力机制 洋码头 流批一体 流量 测试 浏览器支持 海外华人 海外市场 海洋工程 海特高新 消息队列 消费 液电混驱 深度 深度兴趣网络 深度学习 深度树匹配 深度树检索 深海开发 深蓝航天 混合架构 混排 混沌工程 清宵 游戏 游戏出海 游戏创作 游戏媒体 游戏崩溃 游戏开发 游戏性能 游戏泄露 游戏科学 游戏行业 游戏角色 滑动窗口 漏洞 漫步者 火焰图 火箭回收 火车座位 热点挖掘 熔断降级 爆料 爬虫 爱奇艺 版权 牛顿-莱布尼茨 物流 特征工程 特征平台 特征系统 特斯拉 猜你喜欢 王兴兴 玩家社区 班级管理 生命演化 生态建设 用户体验 用户安全 用户建模 用户画像 电动车 电商 电商安全 电商搜索 电子产品 电池更换 留学 癌症疫苗 白兔 百度 监管 盗版 目录服务 相关系数 真无线耳机 真空涨落 真菌 真话 矢量语义 知乎架构 知识产权 知识图谱 知识增强 知识蒸馏 短文本解析 短视频 短语抽取 短语挖掘 硬件涨价 硬件要求 碧桂园 社交媒体 社交工程 社交软件 神经科学 神经网络 神马搜索 离线 离线计算 科学 科技与国家安全 科技体育 科技供应链 科研计算 秒杀架构 秒杀系统 租赁 移动支付 程序人生 程序化广告 程序员 程序员成长 税务策略 稳定性规范 空间索引 窗口函数 章鱼动力 端上智能 端侧AI 端智能 算力交易 算法 算法伦理 算电协同 类协同训练 类目识别 粗排 粮食安全 系统演进 系统稳定性 系统设计 索尼 索引 线程 线程池 经济学人 结构化数据 续航 缓存 编程学习 编程语言 网易传媒 网络图 置信度 美光 美加贸易 美团 美团大脑 美团点评 美国 美国国债 美国大学 美联储 耳机 职场 联邦学习 脑-手-数据 脑类器官 腾讯 腾讯技术 腾讯音乐 自主创新 自主可控 自动化测试 自动补全 自动驾驶 自建 自然语言处理 色情识别 色盲图 芒米 花椒直播 苞谷 英伟达 英语天天练 苹果 蓝箭航天 虚幻5 虚拟化 蚂蚁百灵 蚂蚁金服 蜜蜂AI 融资 行业标准 行业理念 行为分析 行政诉讼 行星保护 裁员 西方开发者 规则 规则平台 规则引擎 视觉测试 视觉资产库 视频推荐 言论自由 计算广告 计算机基础 计算机视觉 订阅服务 认知 认知卸载 讨论区 训练过程透明化 记忆建模 记忆网络 论文 设计 评价指标 评测指标 诉讼 词向量 词嵌入 词权重 诡秘之主 语义分割 语义匹配 语义检索 语义模型 语义理解 语义表征 语言模型 语音内容识别 语音识别 语音转文字 诺贝尔奖 调度器 谷歌 谷歌面试 贝叶斯个性化排序 贝塞斯达 贝壳找房 贝壳智搜 财务自主权 财商教育 货币化 货币政策 质量管控 贸易战 超导 趋势科技 跨境电商 路径规划 踩坑 身份基础设施 转人工 软实力 边缘计算 达摩院 迁移学习 过拟合 迪士尼 迪拜 退休规划 透明度 透明度标签 逻辑回归 逻辑思维 遗产分配 遗产继承 遗嘱 邮件安全 配置 配置过剩 配色 采购 重叠实验框架 重复使用 重排序 重构 量化 量子物态调控 量子计算 金融 金融化 钉钉 钓鱼攻击 钟馗 银汤匙 链表 链表求交集 闭源 问界M6 问界M9 问题解决 阔直板 阔直板手机 阿西莫格鲁 阿里 阿里云 阿里妈妈 阿里小蜜 阿里巴巴 阿里达摩院 陈薇 陌陌 降纬打击 陶瓷材质 随机变量 隐私 隐藏式门把手 零拷贝 雷神之锤 雷霆RS 青少年 面经 面试 韩国科研 音乐创作 项目管理 预估引擎 预训练 领域设计 领域驱动 风控 风控系统 飞书 飞书多维表格 飞行出租车 首付比例 驾照体检 骁龙865 高可用 高并发 高斯热图 高端手机 高维数据索引 高考志愿 鸣潮 鸿蒙 鸿蒙智行 黄峥 黑盒模型 黑神话 黑神话:钟馗 黑色素瘤 默沙东 龙芯

友情链接

其它