一、获取源码　　1、从Git克隆代码gitclonehttps://github.com/apache/flink.git　　2、maven运行编译mvncleaninstall-DskipTests　　注：为了加速构建，可以执行如下命令，以跳过测试，QA的插件和JavaDocs的生成：mvncleaninstall-DskipTests-Dfast 二、环境　　1、JDK8　　　　运行单元测试需要Java8u51以上的版本，以避免使用PowerMockRunner的单元测试失败。　　2、maven3　　　　*注意：Maven3.3.x可以构建Flink，但是不能正确地屏蔽掉指定的依赖。Mav

目录☄️前置工作fenfa脚本🌋概述☄️Flink是什么☄️特点（多nb）☄️应用场景（不用看）☄️分层API🌋配环境☄️wordcount☄️WcDemoUnboundStreaming 🌋集群部署☄️集群角色☄️集群规划webUI提交作业命令行提交作业​编辑☄️部署模式会话模式（SessionMode）单作业模式（Per-JobMode）应用模式（ApplicationMode）☄️standalone运行模式 会话模式部署 单作业模式部署应用模式部署 ☄️YARN运行模式（重点） 会话模式部署 单作业模式部署 应用模式部署 ☄️历史服务器🌋深入运行流程☄️总体☄️核心概念并行度设置算子链

Flink之FileSink将数据写入parquet文件在使用FileSink将数据写入列式存储文件中时必须使用forBulkFormat,列式存储文件如ORCFile、ParquetFile,这里就以ParquetFile为例结合代码进行说明.在Flink1.15.3中是通过构造ParquetWriterFactory然后调用forBulkFormat方法将构造好的ParquetWriterFactory传入,这里先讲一下构造ParquetWriterFactory一共有三种方式序列API方式一AvroParquetWriters.forGenericRecord方式二AvroParquet

在Flink程序中，可以通过设置日志级别来控制控制台输出的信息。要让控制台只打印结果信息，可以将日志级别设置为ERROR。这样，只有错误信息和print()方法输出的结果会显示在控制台上。要设置日志级别，请在Flink项目的resources目录下创建一个名为log4j.properties的文件（如果已经存在，请修改相应的配置）。将以下内容添加到log4j.properties文件中：log4j.rootLogger=ERROR,consolelog4j.appender.console=org.apache.log4j.ConsoleAppenderlog4j.appender.conso

前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站：https://www.captainai.net/dongkelun前言前面总结了SparkSQL增量查询Hudi表和Hive增量查询Hudi表。最近项目上也有FlinkSQL增量查询Hudi表的需求，正好学习总结一下。官网文档地址：https://hudi.apache.org/cn/docs/querying_data#incremental-query参数read.start-commit增量查询开始时间对于流读，如果不指定该值，默认取最新的instantTime，也就是流读默认从最新的i

引入flink依赖//streamapi和tableapiorg.apache.flinkflink-table-api-java-bridge_2.111.14.2providedorg.apache.flinkflink-clients_2.111.14.2provided编写入口目录结构com.example.demoautoChildApplicationtaskTaskAbstractTaskTaskManagertimeTimeSourceTimeTaskDemo2Application子容器初始化类@EnableAutoConfigurationpublicclassChildA

背景问题是笔者最近在使用FlinkCDC2.3.0捕获MySQLbinlog日志时遇到的，MySQL使用的阿里云的RDS，MysqlCDC使用读账号以Initinal模式，任务已经运行了一段时间突然报的错，之前在使用FlinkCDC时也曾遇到过，设置了一些参数后没有再出现过，一直比较忙没有来得及总结下来。但是今天同事又遇到了同类型新的报错形式。下次也将问题记录下来备忘，同时也希望对大家有帮助。问题报错：Causedby:java.lang.IllegalStateException:TheconnectoristryingtoreadbinlogstartingatStruct{version

我有不会超过10GB的数据，我需要将它放在分布式缓存中，并为每条记录访问它以从我的Flink流应用程序进行验证。哪个最适合这个用例？我对Hazelcast和Redis感到困惑。 最佳答案 显而易见的解决方案是将这些数据保存在Flink状态中，而不是在某些外部系统中。要更新数据，请从Flink支持的任何数据源(例如文件系统或消息队列)流式传输新版本。 关于redis-用于保持访问配置数据 https://stackoverflow.com/questions/52220759

一、目的在尚硅谷学习用Flink把txt文件数据写入Redis数据库的项目中，运行报错JedisDataException:NOAUTHAuthenticationrequired二、报错详情23/11/0114:26:38ERRORRedisSink:Redishasnotbeenproperlyinitialized: redis.clients.jedis.exceptions.JedisDataException:NOAUTHAuthenticationrequired.  三、解决措施找了半天原因，最后发现是Redis配置文件里有密码，所以IDEA项目的也需要密码（一）第一步，找到R