Flink系列-第08讲:Flink 窗口、时间和水印

本课时主要介绍 Flink 中的时间和水印。 我们在之前的课时中反复提到过窗口和时间的概念,Flink 框架中支持事件时间、摄入时间和处理时间三种。而当我们在流式计算环境中数据从 Source 产生,再到转换和输出,这个过程由于网络和反压的原因会导致消息乱序。因此,需要有一个机制来解决这个问题,这个特别的机制……

阅读全文

Flink系列-第07讲:Flink 常见核心概念分析

在 Flink 这个框架中,有很多独有的概念,比如分布式缓存、重启策略、并行度等,这些概念是我们在进行任务开发和调优时必须了解的,这一课时我将会从原理和应用场景分别介绍这些概念。 分布式缓存 熟悉 Hadoop 的你应该知道,分布式缓存最初的思想诞生于 Hadoop 框架,Hadoop 会将一些数据或者文件缓存在 HDFS 上,在分布……

阅读全文

Flink系列-第06讲:Flink 集群安装部署和 HA 配置

我们在这一课时将讲解 Flink 常见的部署模式:本地模式、Standalone 模式和 Flink On Yarn 模式,然后分别讲解三种模式的使用场景和部署中常见的问题,最后将讲解在生产环境中 Flink 集群的高可用配置。 Flink 常见的部署模式 环境准备 在绝大多数情况下,我们的 Flink 都是运行在 Unix 环境中的,推荐在 Mac OS 或者 Linux 环境下运行 Fl……

阅读全文

Flink系列-第05讲:Flink SQL & Table 编程和案例.md

我们在第 02 课时中使用 Flink Table & SQL 的 API 实现了最简单的 WordCount 程序。在这一课时中,将分别从 Flink Table & SQL 的背景和编程模型、常见的 API、算子和内置函数等对 Flink Table & SQL 做一个详细的讲解和概括,最后模拟了一个实际业务场景使用 Flink Table & SQL 开发。 Flink Table & SQL 概述 背景 我们在前面的课时中讲过 Flink 的分层模型,Flink 自身提供……

阅读全文

Flink系列-第04讲:Flink 常用的 DataSet 和 DataStream API

本课时我们主要介绍 Flink 的 DataSet 和 DataStream 的 API,并模拟了实时计算的场景,详细讲解了 DataStream 常用的 API 的使用。 说好的流批一体呢 现状 在前面的课程中,曾经提到过,Flink 很重要的一个特点是“流批一体”,然而事实上 Flink 并没有完全做到所谓的“流批一体”,即编写一套代码,可以同时支持流式计算场景和批量计算的场……

阅读全文

Flink系列-第03讲:Flink 的编程模型与其他框架比较

本课时我们主要介绍 Flink 的编程模型与其他框架比较。 本课时的内容主要介绍基于 Flink 的编程模型,包括 Flink 程序的基础处理语义和基本构成模块,并且和 Spark、Storm 进行比较,Flink 作为最新的分布式大数据处理引擎具有哪些独特的优势呢? Flink 的核心语义和架构模型 我们在讲解 Flink 程序的编程模型之前,先……

阅读全文

Flink系列-第02讲:Flink 入门程序 WordCount 和 SQL 实现

本课时我们主要介绍 Flink 的入门程序以及 SQL 形式的实现。 上一课时已经讲解了 Flink 的常用应用场景和架构模型设计,这一课时我们将会从一个最简单的 WordCount 案例作为切入点,并且同时使用 SQL 方式进行实现,为后面的实战课程打好基础。 我们首先会从环境搭建入手,介绍如何搭建本地调试环境的脚手架;然后分别从DataS……

阅读全文

Flink系列-第01讲:Flink 的应用场景和架构模型

你好,欢迎来到第 01 课时,本课时我们主要介绍 Flink 的应用场景和架构模型。 实时计算最好的时代 在过去的十年里,面向数据时代的实时计算技术接踵而至。从我们最初认识的 Storm,再到 Spark 的异军突起,迅速占领了整个实时计算领域。直到 2019 年 1 月底,阿里巴巴内部版本 Flink 正式开源!一石激起千层浪,Flink……

阅读全文

Flink系列-开篇词:实时计算领域最锋利的武器 Flink

你好,欢迎来到 Flink 专栏,我是王知无,目前在某一线互联网公司从事数据平台架构和研发工作多年,算是整个大数据开发领域的老兵了。 我最早从 Release 版本开始关注 Flink,可以说是国内第一批钻研 Flink 的开发者,后来基于 Flink 开发过实时计算业务应用、实时数据仓库以及监控报警系统,在这个过程中积累了大量宝贵的……

阅读全文

软件架构师通讯 2023 年 11 月

C# 12 中的新增功能: ​ 主构造函数、集合表达式等作为最近发布的 .NET 8 的一部分,Microsoft 推出了流行的 .NET 编程语言的最新版本 C# 12 的新功能。正如所宣布的,最显着的改进包括集合表达式、所有类和结构的主构造函数、任何类型的别名语法以及 lambda 表达式的默认参数。 最新 JDK 22 早期访问版本可用正如 InfoQ 最近……

阅读全文

最近文章

福利派送

分类

标签

360搜索 58同城 AB测试 AFM模型 AI AIGC AILab AI平台 AKF架构 ANN AOF AOP AQS ASR AUC AdaBoost AdaDeltaW AdamW AdvancedFeaturesOfNetty Airbnb Alink AnnotationFormatterFactory Announcement ApacheFlink AresDB Augur AutoML Automaton BERT BI BI平台 BPR Bagging Bandits BigGAN CNN CRF CTR CTR模型 CTR预估 CV CVPR ClickHouse ConcurrentProgramming Condition DDD DDD实战 DIN DKN模型 DMP平台 DPP DRN DSP DSSM DeepFFM DeepFM DeepFM模型 DesignPattern DevOps DevOps Dgraph Doris Druid Dubbo EE问题 ELK ELMo ESSM ETL Embedding EncodingSpecification Epoll FFM FFM模型 FM FM模型 FST FTRL Faraday Feed流 FixMatch FixedBitSet Flink FreeWheel FullGC GAN GBDT GBDT+LR融合 GBM GC GNN GRU4REC Git Google GraphScope Ha3 Hbase Hologres Hystrix IM IOTechnologyBase IRGAN IT博士 IT移民 Iceberg ImageNet Impala InnoDB IntBlockPool IoC JDBC JDK js JanusGraph java JavaScript KBQA KV存储 Kubernetes LDA LSTM LSTM网络 LambdaMART LearningExperience Linux LruCache Lucence MKR模型 MLflow MMoE MRR Milvus MoE Mock Monorepo mysql Mybatis NDCG NER NIO NIPS NLP Netty Netty主要组件源码分析 Netty多协议开发 Netty技术细节源码分析 Netty编解码 nextjs nextjs OCR OKR OPPO PageRank Parser PersonalExperience Pinot PlaceholderResolver Printer PropertySource Pulsar Push系统 Q&A Que2Search Query扩展 Query理解 R-Tree RMI ROC RPC RTree reactjs Redis RippleNet rocketmq SD SHAP SIGAI SPI SVM Sentinel Serverless SimCLR Softmax Spring Spring5新特性 SpringBoot SpringBootBatch SpringCloud SpringMVC SpringSecurity SpringTransaction Spring整体脉络 Spring源码故事(瞎编版) Stable Diffusion Stage TCP粘拆包 TFServing TX TensorFlow Tomcat Topk Transformer TurboSearch Typora UX WebRTC Wide&Deep Word2vec XDL XDeepFM XGBoost XLNet Yoo视频 YoshuaBengio ZeroSearch Zookeeper abtest android apache apollo architectureDesign basic boosting checkpoint clazz cluster collection concurrentCoding css cto docs elasticsearch flutter format game github gitlab go golang graphql hadoop java JDBC js kafka lab linUCB方法 lucene message mvc Mybatis mysql nacos nexp nextjs nifi node2vec nodejs npm olap one-hot oss python pytorch query纠错 react reactjs reactor Redis region registry remote rocketmq RPC scala select sharding skleam solr spark sqllit storm storybook tailwind trace vivo vuejs web web3 一致性 丑小鸭定理 业务 业务线 个性化推荐 个性化海报 中关村 中文分词 中文纠错 主题建模 书籍 事件驱动架构 事务 亚马逊 交叉验证 人工智能 人机问答 供应链 依存句法分析 信息检索 信息流推荐 倒排索引 倒排表 假设检验 全文索引 全民K歌 全链路压测 公平锁 关系 兴趣 内容挖掘 内容理解 决策树 冷启动 出轨 分层实验 分布式 分布式事务 分布式系统 分布式锁 分词 创业 加权融合 北京 区块 区块链 协同记忆网络 协同过滤 协方差 单元测试 博士 博士offer 压测 原则 双塔模型 反作弊 反欺诈 反脆弱 变量 召回 召回率 可观测性 可解释性 合约 后厂村 向量召回 向量检索 向量索引 吴恩达 命名实体识别 响应式编程 商汤科技 回归模型 因果分析 图像检索 图像识别 图数据库 图灵平台 图片翻译 图计算 在线学习 坐标回归 基于Netty开发服务端及客户端 基础支持层 增量学习 多多 多模态 多目标优化 大数据 大数据开发 头条 奥卡姆剃刀 学习 学习资料 学习资源 学会提问 实体识别 实时推荐 实时数仓 实时数据 实时日志收集 实时计算 实验平台 容灾体系建设 对比学习 对话系统 小城市 小米 小米搜索 小群效应 工作 布隆过滤器 帮帮 年轻人 广告 广告系统 序列标注 建模调参 开源数据集 开源项目 异常检测 异步IO 张嘉佳 强化学习 归一化 待分类 微服务 微软EXP 微软亚洲研究院 思维 性能优化 情感分析 意图识别 房租 技术 拆分 招聘 拼多多 持续交付 持续集成 损失函数 排序 排序模型 排队 推理系统 推荐 推荐理由 推荐系统 推送平台 提问的智慧 搜索 搜索广告 搜索引擎 搜索排序 搜索架构 搜索系统 支持向量 支持向量机 数仓体系 数仓平台 数据中台 数据仓库 数据分析 数据分析平台 数据同步 数据平台 数据指标 数据挖掘 数据治理 数据湖 数据科学 数据结构 数据集 数据驱动 文字识别 文摘 文本分类 文本情感分类 文本挖掘 文本纠错 文本表征 新闻推荐 方法论 日志架构 日志检索 时序特征挖掘 智慧物流 智能合约 智能客服 智能物流 智能语音 智能问答 智能预警 服务 机器学习 机器学习爱好者 机器学习面试题 机器翻译 机器视觉 机器阅读 条件随机场 架构 架构师 标签 标签平滑 标签识别 标签选择 校招 样本 核心处理层 检索引擎 槽位识别 模型剪枝 模型压缩 模型融合 模型评估 模型部署 模型预估 模式匹配 模式识别 正则化 注意力机制 洋码头 流批一体 消息队列 深度 深度兴趣网络 深度学习 深度树匹配 深度树检索 混排 混沌工程 火焰图 热点挖掘 熔断降级 爬虫 爱奇艺 牛顿-莱布尼茨 物流 特征工程 特征平台 特征系统 猜你喜欢 用户建模 用户画像 电商搜索 白兔 百度 相关系数 真话 矢量语义 知乎架构 知识图谱 知识增强 知识蒸馏 短文本解析 短视频 短语抽取 短语挖掘 碧桂园 神经网络 神马搜索 离线计算 秒杀架构 秒杀系统 程序人生 程序员 稳定性规范 空间索引 窗口函数 端上智能 端智能 算法 类协同训练 类目识别 粗排 索引 线程 线程池 缓存 网络图 置信度 美团 美团大脑 美团点评 职场 联邦学习 腾讯技术 腾讯音乐 自动化测试 自动驾驶 自然语言处理 色情识别 花椒直播 苞谷 蚂蚁金服 规则平台 规则引擎 视频推荐 计算广告 计算机视觉 认知 讨论区 记忆建模 记忆网络 论文 评价指标 评测指标 词向量 词嵌入 词权重 语义分割 语义匹配 语义检索 语义模型 语义理解 语言模型 语音内容识别 语音识别 谷歌面试 贝叶斯个性化排序 贝壳找房 贝壳智搜 货币化 起步 趋势科技 路径规划 软实力 边缘计算 达摩院 迁移学习 过拟合 逻辑回归 逻辑思维 采购 重叠实验框架 重排序 重构 金融 银汤匙 链表 链表求交集 阿里 阿里云 阿里妈妈 阿里小蜜 阿里达摩院 陈薇 陌陌 降纬打击 随机变量 零拷贝 面经 面试 项目管理 预估引擎 预训练 领域设计 领域驱动 风控 风控系统 高可用 高并发 高斯热图 高维数据索引 黄峥 黑盒模型

友情链接

其它