1.版本说明本文档内容基于flink-1.13.x，其他版本的整理，请查看本人博客的flink专栏其他文章。2.介绍FlinkSQL有一组丰富的本地数据类型可供用户使用。数据类型描述表生态系统中值的逻辑类型，它可用于声明操作的输入和/或输出类型。Flink的数据类型类似于SQL标准的数据类型，但也包含了关于值是否为空的信息，以便有效地处理标量表达式。数据类型的例子有:INTINTNOTNULLINTERVALDAYTOSECOND(3)ROW,myOtherFieldTIMESTAMP(3)>所有预定义的数据类型在下面列出。2.1.TableAPI中的数据类型java/scala：基于JVM的
问题导读：1、FlinkCDC2.3版本有哪些重大改进和核心特性？2、FlinkCDC2.3版本中MySQLCDC连接器有哪些优化？3、FlinkCDC2.4版本有哪些规划？01FlinkCDC简介FlinkCDC[1]是基于数据库的日志CDC技术，实现了全增量一体化读取的数据集成框架。配合Flink优秀的管道能力和丰富的上下游生态，FlinkCDC可以高效实现海量数据的实时集成。 作为新一代的实时数据集成框架，FlinkCDC具有全增量一体化、无锁读取、并行读取、表结构变更自动同步、分布式架构等技术优势，同时社区提供了完整的文档支持[2]。在FlinkCDC开源的两年多时间里，社区成长迅速，
工厂类HoodieTableFactory提供的创建动态表接口createDynamicTableSource和createDynamicTableSink，对应的源码文件为：https://github.com/apache/hudi/blob/master/hudi-flink-datasource/hudi-flink/src/main/java/org/apache/hudi/table/HoodieTableFactory.java。createDynamicTableSinkpublicclassHoodieTableFactoryimplementsDynamicTableSou
前期入门讲解了需多常用算子、方法、和连接器的使用与代码示例，本文讲解如何安装ApacheFlinkDashboard平台与界面基本操作。ApacheFlinkDashboard是Flink的客户端管理控制平台，也是JOB运行时任务跟踪与管理的显示平台。撑握基本的应用是学习Flink必备的，通过管理控制台界面的操作，我们能够知晓：TaskJOB的运行健康状态；上传打包的客户端应用程序；运行TaskJOB如何分配可用资源；启停TaskJOB任务、查看TaskJOB执行能力；查看TaskJOB监控维度指标；安装Flink服务参见另一文章：linux安装flink1.11.1Dashboard基本操作
在分布式架构中，当某个节点出现故障，其他节点基本不受影响。这时只需要重启应用，恢复之前某个时间点的状态继续处理就可以了。这一切看似简单，可是在实时流处理中，我们不仅需要保证故障后能够重启继续运行，还要保证结果的正确性、故障恢复的速度、对处理性能的影响，在Flink中，有一套完整的容错机制（faulttolerance）来保证故障后的恢复，其中最重要的就是检查点（checkpoint）和 保存点（Savepoint）检查点（Checkpoint）1、什么是检查点 发生故障之后，最简单的想法当然是重启机器、重启应用。由于是分布式的集群，即使一个节点无法恢复，也不会影响
FlinkCDCOracle完整踩坑指南1.flink-cdc同步oracle表的增量数据试用环境：**Oracle：**11.2.0.4.0（RAC部署）**Flink：**1.12.0通过Flink集群方式部署使用。完整代码实现：packagecom.nari.cdc.job;/***同步oracle指定表发送到kafka**@authorgym*@versionv1.0*@description:*@date:2022/3/3114:25*/importcom.alibaba.fastjson.JSONObject;importcom.alibaba.fastjson.serialize
FlinkError一、org.apache.flink.table.api.TableException:Onlythefirstfieldcanreferenceanatomictype二、OnlytablesthatoriginatefromScalaDataStreamscanbeconvertedtoScalaDataStreams三、Fieldreferenceexpressionoraliasonfieldexpressionexpected.四、Resultfielddoesnotmatchrequestedtype.Requested:Long;Actual:Integer一
问题描述flink默认分配的内存，不合理，jvm堆内存太小，其他内存太大。向yarn申请8G内存，最后分配到heap的大小才3.2G，不是让人抓狂吗？以上是，向yarn申请8G内存，实时分配的内存是上图所示。内存分析：1.内存分配中，TaskHeap占用89%，其实这时已经fullGC,2.但ManagedMemory分配是2.78G，实际用1M都没有。3.network内存分配了712M，实际才使用1.8M。希望把ManagerdMemory和Network的内存分配给TaskMemory，如何才能做到？taskmanager.memory.managed.fraction源码中找：publ
Flink1.16.0集群安装一、集群规划部署节点部署内容节点IPk8s-masterjdk11、flink1.16.010.52.0.143k8s-node1jdk11、flink1.16.010.52.0.144k8s-node2jdk11、flink1.16.010.52.0.145二、安装前的准备1、关闭Selinux、防火墙和THP，三台服务器都要操作一次关闭防火墙systemctlstopfirewalld永久关闭防火墙systemctldisablefirewalldsed-i‘s/^SELINUX=enforcing$/SELINUX=disabled/’/etc/selinu
Flink1.16.0集群安装一、集群规划部署节点部署内容节点IPk8s-masterjdk11、flink1.16.010.52.0.143k8s-node1jdk11、flink1.16.010.52.0.144k8s-node2jdk11、flink1.16.010.52.0.145二、安装前的准备1、关闭Selinux、防火墙和THP，三台服务器都要操作一次关闭防火墙systemctlstopfirewalld永久关闭防火墙systemctldisablefirewalldsed-i‘s/^SELINUX=enforcing$/SELINUX=disabled/’/etc/selinu
