文章目录起源与发展flink在github上的现状实时计算VS离线计算实时计算离线计算实时计算常用的场景框架流处理流程flink电商场景下的业务图示例flink中一些重要特性有界数据和无界数据时间语义、水位线事件时间处理时间水位线flink窗口概念理想中的数据处理含有延迟数据的数据处理Flink存储桶概念窗口类型滚动窗口滑动窗口会话窗口全局窗口flink状态管理检查点（Checkpoint）检查点恢复数据过程下载安装入门Demo示例pom配置Demo代码打包到集群流运行时执行环境任务槽Slot扩展Demo时间窗口DemoTableApiDemo对迟到数据处理Demo起源与发展​       F

1、背景当时，hive安装部署好，并没有这个问题，后面部署了FlinkOnYarn，就没有使用过hive了。2、问题（1）使用bin/hive的时候，会打印大量的INFO日志，不停的刷日志，sql语句这些能够正常执行（MR引擎或者Tez引擎都可以），但是其实无法正常使用。（2）info日志如下所示：（3）而后想通过启动hiveserver2服务，使用DataGrip去连接操作Hive，这样至少不用看见那烦人的INFO日志了。。。事实是，sql语句无法正常跑下去。。。3、解决办法出现这个问题的原因：环境变量配置了HADOOP_CLASSPATH导致的。vim/etc/profile.d/my_e

文章目录FlinkonYarn的三种部署方式介绍以及注意一、Pre-Job模式部署作业

代码内容packagecom.jin.demo;importorg.apache.flink.api.common.serialization.SimpleStringSchema;importorg.apache.flink.connector.base.DeliveryGuarantee;importorg.apache.flink.connector.kafka.sink.KafkaRecordSerializationSchema;importorg.apache.flink.connector.kafka.sink.KafkaSink;importorg.apache.flink.s

环境说明：flink1.15.2Oracle版本：OracleDatabase11gEnterpriseEditionRelease11.2.0.1.0-64bitProductionmysql版本：5.7windows11IDEA本地运行先上官网使用说明和案例：OracleCDCConnector—FlinkCDCdocumentation1.Oracle开启logarchiving(1).启用logarchiving      a:以DBA用户连接数据库          sqlplus/assysdba      b:启用logarchiving（会重启数据库）         alte

在使用flink1.14.6版本cdc时出现报错:Causedby:org.apache.flink.runtime.client.JobInitializationException:CouldnotstarttheJobMaster.atorg.apache.flink.runtime.jobmaster.DefaultJobMasterServiceProcess.lambda$new$0(DefaultJobMasterServiceProcess.java:97)~[flink-dist_2.11-1.14.6.jar:1.14.6]atjava.util.concurrent.Co

在Flink中提供了StreamingFileSink用以将数据流输出到文件系统.这里结合代码介绍如何使用FileSink.首先FileSink有两种模式forRowFormat和forBulkFormatpublicstaticIN>DefaultRowFormatBuilderIN>forRowFormat(finalPathbasePath,finalEncoderIN>encoder){returnnewDefaultRowFormatBuilder>(basePath,encoder,newDateTimeBucketAssigner>());}publicstaticIN>Defa

使用flink1.13.0和CDC2.3.0的demopublicclassTMySqlCDC{publicstaticvoidmain(String[]args)throwsException{StreamExecutionEnvironmentenv=StreamExecutionEnvironment.createLocalEnvironmentWithWebUI(newConfiguration());env.setParallelism(1);PropertiesdbProps=newProperties();dbProps.put("database.serverTimezone"

什么叫做Flink的有状态计算呢？说白了就是将之前的中间结果暂时存储起来，等待后续的事件数据过来后，可以使用之前的中间结果继续计算。本文主要介绍Flink状态计算和管理、代码示例。1、有状态的计算什么是Flink的有状态的计算。在流式计算过程中将算子的中间结果保存在内存或者文件系统中，等下一个事件进入算子后可以从之前的状态中获取中间结果，以便计算当前的结果，从而无需每次都基于全部的原始数据来统计结果，极大地提升了系统性能。每一个具有一定复杂度的流计算应用都是有状态的，任何运行基本业务逻辑的流处理应用都需要在一定时间内存储所接受的事件或者中间结果。2、状态管理Flink如何管理状态？主要就是：本

第1章CDC简介1.1什么是CDCCDC是ChangeDataCapture（变更数据获取）的简称。在广义的概念上，只要是能捕获数据变更的技术，我们都可以称之为CDC。核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入、更新以及删除等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。目前通常描述的CDC技术主要面向数据库的变更，是一种用于捕获数据库中数据变更的技术。CDC技术的应用场景非常广泛：数据同步：用于备份，容灾；数据分发：一个数据源分发给多个下游系统；数据采集：面向数据仓库/数据湖的ETL数据集成，是非常重要的数据源。1.2CDC的种类CDC