FlinkCDC系列之：OracleCDC导入Elasticsearch一、深入理解FlinkOracleCDCConnector二、创建docker-compose.yml文件三、启动容器四、下载FlinkOracleCDC的jar包五、启动Flink集群，再启动SQLCLI六、检查ElasticSearch中的结果七、在Oracle制造一些变更，观察ElasticSearch中的结果一、深入理解FlinkOracleCDCConnectorFlinkCDC系列之：OracleCDCConnector二、创建docker-compose.yml文件version:'2.1'services:
Flink使用介绍相关文档目录Flink使用介绍相关文档目录作业提交方式参考链接：YARN|ApacheFlinkFlink作业提交的方式分为application模式，per-job模式和session模式。per-job模式在Yarn创建一个Flink集群，然后在提交任务客户端所在机器本地运行作业jar的main方法，提交生成的JobGraph到Flink集群的JobManager。如果附带--detached参数，提交的作业被accept的时候，客户端会停止运行（命令行不用一直开着，生产环境必须。开发测试时可不带--detached参数，通过命令行查看运行日志）。实际生产中推荐使用此模式
前期介绍到，我们项目初期Flink部署使用的是standalone模式。但是此模式缺点很多：1、资源利用率低taskmanager、slot实现都是规划创建好。如果不用资源也一直占用着。2、无法做到资源隔离只是简单的对内存资源进行简单划分3、job调度优先级无法保证我们本打算采用Flinkonk8s的方案，但是考虑到k8s虚拟了一层网络，性能肯定有损耗。而且对运维团队要求非常高。最终，我们采用社区比较成熟的方案flinkonyarn。成熟是别人的成熟，坑还是我们自己的坑。根据自己的理解，画了个简单的图：session模式下，需要预先执行创建session的命令，具体如下：/data/flink
前言在流数据处理应用中，一个很重要、也很常见的操作就是窗口计算。所谓的“窗口”，一般就是划定的一段时间范围，也就是“时间窗”；对在这范围内的数据进行处理，就是所谓的窗口计算。所以窗口和时间往往是分不开的。基本概念是什么Window：Window是处理无界流的关键，Windows将流拆分为一个个有限大小的buckets，可以可以在每一个buckets中进行计算。start_time、end_time：当Window时时间窗口的时候，每个window都会有一个开始时间和结束时间（前开后闭），这个时间是系统时间。event-time:事件发生时间，是事件发生所在设备的当地时间，比如一个点击事件的时间
时间语义上图是数据流式处理过程，涉及到两个重要的时间点：事件时间（EventTime）和处理时间（ProcessingTime）。事件时间（EventTime）：即数据产生的时间；处理时间（ProcessingTime）：即数据真正被处理的时刻；我们在处理数据时，以哪种时间作为衡量标准，就是所谓的时间语义问题（NotionsofTime）。由于分布式系统中网络传输的延迟和时钟漂移，处理时间相对事件发生的时间会有滞后。在这种情况下，就不能简单地把数据自带的时间戳当作时钟了，而需要用另外的标志来表示事件时间进展，在Flink中把它叫作事件时间的“水位线”（Watermarks）。水位线（Water
flinkkafkascan=.startup.mode的几个选项group-offsets:startfromcommittedoffsetsinZK/Kafkabrokersofaspecificconsumergroup.earliest-offset:startfromtheearliestoffsetpossible.latest-offset:startfromthelatestoffset.timestamp:startfromuser-suppliedtimestampforeachpartition.specific-offsets:startfromuser-supplie
写在前面SQLServer开启CDC1.将指定库的实例先开启CDC2.开启需要开启CDC的表3.关闭CDC功能更详细信息参照官网写在前面鉴于老旧数据的结构和项目都在sqlserver上存储，且迁移成本巨大，当下要为sqlserver的存储过程减负。要将一部分流式的动态数据实现实时查询并存储数仓。那在现有的数据环境下，将sqlserver的数据通过flink接管实现数据输出和仓库存储。SQLServer开启CDC数据同步的开启方式对于sqlserver来说有点特殊，集成在现有的环境中，我们的sqlserver是2012版本的具体操作如下：1.将指定库的实例先开启CDC命令：USEdatabase
ApacheIceberg概述和源代码的构建1.数据湖的解决方案-Iceberg1.1Iceberg是什么1.2Iceberg的TableFormat介绍1.3Iceberg的核心思想1.4Iceberg的元数据管理1.5Iceberg的重要特性1.5.1丰富的计算引擎1.5.2灵活的文件组织形式1.5.3优化数据入湖流程1.5.4增量读取处理能力1.6数据文件结构1.6.1元数据文件1.6.1.1TableMetadata1.6.1.2快照（Snapshot）1.6.1.3清单文件（ManifestFile）1.6.2数据文件2.ApacheIceberg的实现细节2.1快照设计方式2.1.
1、API说明非并行数据源： deffromElements[T:TypeInformation](data:T*):DataStream[T] deffromCollection[T:TypeInformation](data:Seq[T]):DataStream[T] deffromCollection[T:TypeInformation](data:Iterator[T]):DataStream[T] 并行数据源： deffromParallelCollection[T:TypeInformation](data:SplittableIterat
前言这里把各种资料里认为和容错有关的概念放在一起来解释，这样或许能更好的理解Flink强大的容错机制。主要的概念有四个：Stage、Checkpoint、SavePoint、Barrier。一、Flink容错ApacheFlink提供了可以恢复数据流应用到一致状态的容错机制。确保在发生故障时，程序的每条记录只会作用于状态一次（exactly-once），当然也可以降级为至少一次（at-least-once）。容错机制核心通过持续创建分布式数据流及其状态一致性的快照来实现。对于状态占用空间小的流应用，这些快照非常轻量，可以高频率创建而对性能影响很小。流计算应用的状态保存在一个可配置的环境，如：m
