1.首先客户需要在消息通知服务(SMN)中提前创建一个【主题】,并将客户指定的邮箱或者手机号添加到主题订阅中。这时候指定的邮箱或者手机会收到请求订阅的通知,点击链接确认订阅即可。2.创建FlinkSQL作业,编写作业SQL完成后,配置【运行参数】。2.1配置作业的【CU数量】、【管理单元】与【最大并行数】,依据如下公式:CU数量=管理单元+(算子总并行数/单TMSlot数)*单TM所占CU数例如:CU数量为9CU,管理单元为1CU,最大并行数为16,则计算单元为8CU。如果不手动配置TaskManager资源,则单TM所占CU数默认为1,单TMslot数显示值为0,实际值依据上述公式计算结果为
目录一、Flink中的状态1)键控状态(KeyedState)1、控件状态特点2、键控状态类型3、状态有效期(TTL)1)过期数据的清理2)全量快照时进行清理3)增量数据清理4)在RocksDB压缩时清理4、键控状态的使用2)算子状态(OperatiorState)1、算子状态特点2、算子状态类型3)广播状态(BroadcastState)二、状态后端(StateBackends)1)三种状态存储方式2)配置方式1、【第一种方式】基于代码方式进行配置2、【第二种方式】基于flink-conf.yaml配置文件的方式进行配置三、容错机制(checkpoint)1)一致性2)检查点(checkpo
目录一、Flink中的状态1)键控状态(KeyedState)1、控件状态特点2、键控状态类型3、状态有效期(TTL)1)过期数据的清理2)全量快照时进行清理3)增量数据清理4)在RocksDB压缩时清理4、键控状态的使用2)算子状态(OperatiorState)1、算子状态特点2、算子状态类型3)广播状态(BroadcastState)二、状态后端(StateBackends)1)三种状态存储方式2)配置方式1、【第一种方式】基于代码方式进行配置2、【第二种方式】基于flink-conf.yaml配置文件的方式进行配置三、容错机制(checkpoint)1)一致性2)检查点(checkpo
目录一、window概念二、时间窗口(TimeWindow)1)滚动窗口(TumblingWindows)2)滑动窗口(SlidingWindows)3)会话窗口(SessionWindows)三、windowAPI四、窗口分配器(windowassigner)1)增量聚合函数(incrementalaggregationfunctions)2)全窗口函数(fullwindowfunctions)3)其它可选windowAPI五、Flink中的时间语义六、设置EventTime七、水位线(Watermark)1)为什么需要水位线(Watermark)2)如何利用Watermark处理乱序数据问
目录一、window概念二、时间窗口(TimeWindow)1)滚动窗口(TumblingWindows)2)滑动窗口(SlidingWindows)3)会话窗口(SessionWindows)三、windowAPI四、窗口分配器(windowassigner)1)增量聚合函数(incrementalaggregationfunctions)2)全窗口函数(fullwindowfunctions)3)其它可选windowAPI五、Flink中的时间语义六、设置EventTime七、水位线(Watermark)1)为什么需要水位线(Watermark)2)如何利用Watermark处理乱序数据问
目录一、概述二、核心组件三、PatternAPI1)个体模式(IndividualPatterns)1、量词2、条件2)组合模式(CombiningPatterns,也叫模式序列)1、事件之间的连续策略2、循环模式中的连续性3)模式组(GroupofPattern)匹配后跳过策略四、Pattern检测五、FlinkCEP应用场景六、安装Kafka(window)1)下载kafka2)配置环境变量3)创建相关文件4)修改配置5)启动zookeeper和kafka服务6)常用操作七、FlinkCEP实战(java版)1)开发流程2)FlinkCEP快速上手1、配置Maven2、下载项目3、执行解析
目录一、概述二、核心组件三、PatternAPI1)个体模式(IndividualPatterns)1、量词2、条件2)组合模式(CombiningPatterns,也叫模式序列)1、事件之间的连续策略2、循环模式中的连续性3)模式组(GroupofPattern)匹配后跳过策略四、Pattern检测五、FlinkCEP应用场景六、安装Kafka(window)1)下载kafka2)配置环境变量3)创建相关文件4)修改配置5)启动zookeeper和kafka服务6)常用操作七、FlinkCEP实战(java版)1)开发流程2)FlinkCEP快速上手1、配置Maven2、下载项目3、执行解析
目录一、DataStreamAPI概述二、什么是DataStream?三、DataStream数据处理过程1)DataSources(数据源)1、DataSources原理2、DataSources实现方式1)基于文件2)基于套接字3)基于集合4)自定义2)DataStreamTransformations(数据流转换//处理/算子)1、数据流转换2、物理分区3、算子链和资源组3)DataSinks(数据输出)旁路输出(分流)2)Flink程序剖析(scala)1、获取一个执行环境(executionenvironment)2、加载/创建初始数据3、指定数据相关的转换4、指定计算结果的存储位置
目录一、DataStreamAPI概述二、什么是DataStream?三、DataStream数据处理过程1)DataSources(数据源)1、DataSources原理2、DataSources实现方式1)基于文件2)基于套接字3)基于集合4)自定义2)DataStreamTransformations(数据流转换//处理/算子)1、数据流转换2、物理分区3、算子链和资源组3)DataSinks(数据输出)旁路输出(分流)2)Flink程序剖析(scala)1、获取一个执行环境(executionenvironment)2、加载/创建初始数据3、指定数据相关的转换4、指定计算结果的存储位置
目录一、下载安装IDEA二、搭建本地hadoop环境(window10)三、安装Maven四、新建项目和模块1)新建maven项目2)新建flink模块五、配置IDEA环境(scala)1)下载安装scala插件2)配置scala插件到模块或者全局环境3)创建scala项目4)DataStreamAPI配置1、Maven配置2、示例演示5)TableAPI&SQL配置1、Maven配置2、示例演示6)HiveCatalog1、Maven配置2、Hadoop与HiveGuava冲突问题3、示例演示7)下载flink并本地启动集群(window)8)完成版配置1、maven配置2、log4j2.x