总览： importorg.apache.flink.streaming.api.scala._importorg.apache.flink.streaming.api.scala.StreamExecutionEnvironmentimportorg.apache.flink.table.api.EnvironmentSettingsimportorg.apache.flink.table.api.bridge.scala.{StreamTableEnvironment,tableConversions}objectsqlQueryTable{ defmain(args:Array[St
Flink学习笔记前言：今天是学习flink的第19天啦！学习了flinkSQL中窗口的应用，包括滚动窗口，滑动窗口，会话窗口，累计窗口，学会了如何计算累计值（类似于中视频计划中的累计播放量业务需求），多维数据分析等大数据热点问题，总结了很多自己的理解和想法，希望和大家多多交流，希望对大家有帮助！Tips："分享是快乐的源泉💧，在我的博客里，不仅有知识的海洋🌊，还有满满的正能量加持💪，快来和我一起分享这份快乐吧😊！喜欢我的博客的话，记得点个红心❤️和小关小注哦！您的支持是我创作的动力！"文章目录Flink学习笔记六、FlinkSQL窗口1.窗口表值函数（tvfs）2.窗口分类函数及聚合操作2.
FlinkSql的JoinFlink官网将其分为了Joins和WindowJoins两个大类，其中里面又分了很多Join方式参考文档：Joins|ApacheFlinkWindowJOIN|ApacheFlinkJoins官网介绍共有6种方式：RegularJoin：流与流的Join，包括InnerJoin、OuterEqualJoinIntervalJoin：流与流的Join，两条流一段时间区间内的JoinTemporalJoin：流与流的Join，包括事件时间，处理时间的TemporalJoin，类似于离线中的快照JoinLookupJoin：流与外部维表的JoinArrayExpans
WindowingTVF以前用的是GroupedWindowFunctions（分组窗口函数），但是分组窗口函数只支持窗口聚合现在FlinkSql统一都是用的是WindowingTVFs（窗口表值函数），WindowingTVFs更符合SQL标准且更加强大，支持windowjoin、Windowaggregations、WindowTop-N、WindowDeduplication WindowingTVFs是Flink定义的多态表函数（PolymorphicTableFunction，缩写PTF），PTF是SQL2016标准中的一种特殊的表函数，它可以把表作为一个参数窗口函数Flink认为窗
InthecontextofApacheFlink,a"hint"typicallyreferstoadirectiveorsuggestionprovidedtotheFlinkoptimizertoinfluencehowitexecutesagivendataprocessingjob.ThesehintsareusedtoguideFlink'soptimizationprocess,potentiallyimprovingtheperformanceorresourceutilizationofthejob.TherearedifferenttypesofhintsinApacheF
环境搭配想要针对公司集群环境学习一下Flink对接MySQLCDC写入Hive的方法，并对过程进行记录。公司环境为CDH6.3.2搭建的集群，MySQL使用的是AWSRDS，对应MySQL5.7版本。CDH6.3.2的Hadoop和Hive分别是3.0.0和2.1.1。但是由于开源版本的Hive2.1.1不支持Hadoop3.x的版本，因此使用Hadoop前最后的版本2.9.2。整个环境组件版本如下：MySQL5.7Hadoop2.9.2Hive2.1.1zookeeper3.4.10Kafka2.3.0Flink1.13.5搭建MySQL参考MySQL5.7版本在CentOS系统安装保姆级教
01Changelog相关优化规则0101运行upsert-kafka作业登录sql-client，创建一个upsert-kafka的sql作业（注意，这里发送给kafka的消息必须带key，普通只有value的消息无法解析，这里的key即是主键的值）CREATETABLEpageviews_per_region(user_regionSTRING,pvSTRING,PRIMARYKEY(user_region)NOTENFORCED--设置主键)WITH('connector'='upsert-kafka','topic'='pageviews_per_region','properties
简介 未来Flink通用化，代码可能就会转换为sql进行执行，大数据开发工程师研发Flink会基于各个公司的大数据平台或者通用的大数据平台，去提交FlinkSQL实现任务，学习Flinksql势在必行。 本博客在sql-client中模拟大数据平台的sql编辑器执行FlinkSQL,使用Flink实现数据从Kafka传输到MySQL具体操作，这个在生产开发中比较常用，通常生产用kafka作为数据的输入，本例子Flink版本1.13.6，具体操作如下：创建mysql测试目标表下面是创建mysql测试目标表的例子CREATETABLE`kafka_target`(`id`int(11)
历史文章迁移，稍后整理使用DataGenerator提前进行压测，了解数据的处理瓶颈、性能测试和消费能力开启minibatch："table.exec.mini-batch.enabled","true"开启Local+Global两阶段聚合："table.exec.mini-batch.enabled","true"解决数据倾斜问题：流式倾斜，开启minibatch窗口类有界操作，传统的两阶段聚合的方式数据源分布就不均匀，做reblance针对大状态开启rocksdb针对分区无数据导致watermark的窗口等不触发，设置idle利用paimon做中间存储，既可以做批流复用olap，look
背景信息Canal是一个CDC（ChangeLogDataCapture，变更日志数据捕获）工具，可以实时地将MySQL变更传输到其他系统。Canal为变更日志提供了统一的数据格式，并支持使用JSON或protobuf序列化消息（Canal默认使用protobuf）。支持Canal格式的连接器有消息队列Kafka和对象存储OSS。Flink支持将Canal的JSON消息解析为INSERT、UPDATE或DELETE消息到FlinkSQL系统中。在很多情况下，利用Canal这个特性非常的有用，例如：将增量数据从数据库同步到其他系统日志审计数据库的实时物化视图数据库表的temporaljoin变更
