概述首先我们先来看一下自定义数据源，Flink系统提供的一些功能我们可以从下面这个图看出来数据源的source和sink类的集成关系当我们要实现自定义数据源的时候，我们需要先实现DynamicTableSourceFactory,DynamicTableSinkFactory这两个工厂类，在工厂类里面去实现参数定义和数据源的创建，然后再数据源DynamicTableSource和DynamicTableSink里面去初始化数据源的一些信息，最终在source类型的数据源的ScanRuntimeProvider或者LookupTableSource或者sink类型的数据源的SinkRuntime
处理函数是Flink底层的函数，工作中通常用来做一些更复杂的业务处理，这次把Flink的处理函数做一次总结，处理函数分好几种，主要包括基本处理函数，keyed处理函数，window处理函数，通过源码说明和案例代码进行测试。处理函数就是位于底层API里，熟悉处理函数能够更好的处理Flink流处理。Flink官方文档：https://nightlies.apache.org/flink/flink-docs-release-1.13/zh/docs/dev/datastream/operators/process_function/一、基本处理函数（ProcessFunction）首先我们看Pr
处理函数是Flink底层的函数，工作中通常用来做一些更复杂的业务处理，这次把Flink的处理函数做一次总结，处理函数分好几种，主要包括基本处理函数，keyed处理函数，window处理函数，通过源码说明和案例代码进行测试。处理函数就是位于底层API里，熟悉处理函数能够更好的处理Flink流处理。Flink官方文档：https://nightlies.apache.org/flink/flink-docs-release-1.13/zh/docs/dev/datastream/operators/process_function/一、基本处理函数（ProcessFunction）首先我们看Pr
总览1.生成运行时env2.生成表环境3.接上数据流，数据流数据生成表4.把数据库中sink保存数据的表，在flink中生成一遍（相当于把flink生成的表，绑定到数据库中的表），配上数据库连接信息，并执行，及注册5.查询表，可以根据注册表名查询6.插入表，可以根据生成的flink表进行数据插入完整案例：importorg.apache.flink.streaming.api.scala._importorg.apache.flink.table.api.bridge.scala._importorg.apache.flink.table.api._importorg.apache.flink
总览1.生成运行时env2.生成表环境3.接上数据流，数据流数据生成表4.把数据库中sink保存数据的表，在flink中生成一遍（相当于把flink生成的表，绑定到数据库中的表），配上数据库连接信息，并执行，及注册5.查询表，可以根据注册表名查询6.插入表，可以根据生成的flink表进行数据插入完整案例：importorg.apache.flink.streaming.api.scala._importorg.apache.flink.table.api.bridge.scala._importorg.apache.flink.table.api._importorg.apache.flink
前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站：https://www.captainai.net/dongkelun前言上篇文章FlinkSQL操作Hudi并同步Hive使用总结总结了如何使用FlinkSQL读写Hudi并同步Hive，介绍了创建表的各种方式，但是每一种方式都不太完美。本文介绍一种比较完美的方式，通过HudiHMSCatalog读写Hudi并同步Hive表，这里的HudiHMSCatalog实际上就是通过上篇文章最后提到的HoodieHiveCatalog实现的，PR：[HUDI-4098]SupportHMSforflink
前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站：https://www.captainai.net/dongkelun前言上篇文章FlinkSQL操作Hudi并同步Hive使用总结总结了如何使用FlinkSQL读写Hudi并同步Hive，介绍了创建表的各种方式，但是每一种方式都不太完美。本文介绍一种比较完美的方式，通过HudiHMSCatalog读写Hudi并同步Hive表，这里的HudiHMSCatalog实际上就是通过上篇文章最后提到的HoodieHiveCatalog实现的，PR：[HUDI-4098]SupportHMSforflink
1.keyby算子keyby是flink中非常常见的操作。其作用为在逻辑上将流划分为不相交的分区，而具有相同key的数据都分配到同一个分区。这种操作在各种大数据计算引擎中都非常常见，比如最早的mapreduce，从map阶段到reduce阶段，就是通过shuffle操作将具有相同key的数据分配到同一个reduce端进行处理。在flink内部，keyby是通过哈希分区来实现的，并且自带有多种指定key的方式。2.源码分析我们先通过源码，来看看keyby指定key的几种不同方式，flink版本1.7.2 /** *Partitionstheoperatorstateofa{@linkDataSt
1.keyby算子keyby是flink中非常常见的操作。其作用为在逻辑上将流划分为不相交的分区，而具有相同key的数据都分配到同一个分区。这种操作在各种大数据计算引擎中都非常常见，比如最早的mapreduce，从map阶段到reduce阶段，就是通过shuffle操作将具有相同key的数据分配到同一个reduce端进行处理。在flink内部，keyby是通过哈希分区来实现的，并且自带有多种指定key的方式。2.源码分析我们先通过源码，来看看keyby指定key的几种不同方式，flink版本1.7.2 /** *Partitionstheoperatorstateofa{@linkDataSt
五、Hudi集成Flink案例详解5.1hudi集成flinkflink的下载地址：https://archive.apache.org/dist/flink/HudiSupportedFlinkversion0.12.x1.15.x、1.14.x、1.13.x0.11.x1.14.x、1.13.x0.10.x1.13.x0.9.01.12.2将上述编译好的安装包拷贝到flink下的jars目录中：cp/opt/apps/hudi-0.12.0/packaging/hudi-flink-bundle/target/hudi-flink1.13-bundle-0.12.0.jar/opt/app
