说明Zookeeper+Hadoop+Spark+Flink+Kafka+Hbase+Hive完全分布式高可用集群搭建下载https://archive.apache.org/dist/ Mysql下载地址Indexof/MySQL/Downloads/我最终选择Zookeeper3.7.1+Hadoop3.3.5+Spark-3.2.4+Flink-1.16.1+Kafka2.12-3.4.0+HBase2.4.17+Hive3.1.3 +JDK1.8.0_391一、服务器 IP规划IPhostname192.168.1.5node1192.168.1.6node2192.168.1.7n
面试题：Flink数据延迟怎么处理？将迟到数据直接丢弃【默认方案】将迟到数据收集起来另外处理（旁路输出）重新激活已经关闭的窗口并重新计算以修正结果（Lateness）Flink数据延迟处理方案用一个案例说明三种处理方式举个例子：左流跟右流按照5秒的时间窗口进行coGroup操作（按单词进行关联），超过5秒进行丢弃。结果说明：在Socket数据源输入"1005000java"后，会统计1005000时间戳之前的数据，而在1005000时间戳之后输入的hello就没有被统计输出。当输入"1010000xixi"后，触发了第2个窗口，只输出了java，还是没有后输入的hello统计结果，这也更明确了
在此之前需要部署一下私人docker仓库，教程搭建Docker镜像仓库注意：每台节点的daemon.json都需要配置"insecure-registries":["http://主机IP:8080"]并重启一、session模式Session模式是指在Kubernetes上启动一个共享的Flink集群（由JobManager和多个TaskManagers组成），然后多个Flink作业可以提交到这个共享集群上运行。这个模式下的集群会长期运行，直到用户手动停止它。这种模式适合多个作业需要频繁启动和停止，且对集群资源的利用率要求较高的场景。Kubernetes中的FlinkSession集群部署至
本文目录CheckpointsStateBackendsSavepointsCheckpoints与Savepoints区别Flink可以保证exactlyonce，与其容错机制checkpoint和savepoint分不开的。本文主要讲解两者的机制与使用，同时会对比两者的区别。CheckpointsCheckpoint使Flink的状态具有良好的容错性，通过checkpoint机制，Flink可以对作业的状态和计算位置进行恢复。Flink中的每个方法或算子都能够是有状态的，状态化的方法在处理单个元素/事件的时候存储数据，让状态成为使各个类型的算子更加精细的重要部分。为了让状态容错，Flink
Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。3、FlikTableAPI和SQL基础系列本部分介绍FlinkTableApi和SQL的基本用法，比如TableAPI和SQL创建库、表用法、查询、窗口函数、catalog等等内容。4、FlikTableAPI和SQL提高与应用系列本部分是tableapi和sql的应用部分，和实际的生产应
为什么我会收到此错误:Warning:stream_socket_client():SSLoperationfailedwithcode1.OpenSSLErrormessages:error:14094410:SSLroutines:SSL3_READ_BYTES:sslv3alerthandshakefailureWarning:stream_socket_client():FailedtoenablecryptoWarning:stream_socket_client():unabletoconnecttossl://gateway.sandbox.push.apple.com:
Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。3、FlikTableAPI和SQL基础系列本部分介绍FlinkTableApi和SQL的基本用法，比如TableAPI和SQL创建库、表用法、查询、窗口函数、catalog等等内容。4、FlikTableAPI和SQL提高与应用系列本部分是tableapi和sql的应用部分，和实际的生产应
一、各组件版本组件版本Flink1.16.1kafka2.0.0Logstash6.5.4Elasticseach6.3.1Kibana6.3.1 针对按照⽇志⽂件⼤⼩滚动⽣成⽂件的⽅式，可能因为某个错误的问题，需要看好多个⽇志⽂件，还有FlinkonYarn模式提交Flink任务，在任务执行完毕或者任务报错后container会被回收从而导致日志丢失，为了方便排查问题可以把⽇志⽂件通过KafkaAppender写⼊到kafka中，然后通过ELK等进⾏⽇志搜索甚⾄是分析告警。二、Flink配置将日志写入Kafka2.1flink-conf.yaml增加下面两行配置信息env.java.opt
目录前言一、以部门结构为例1.1实体1.2返回VO1.3具体实现1.4效果展示二、以省市县结构为例2.1实体2.2返回VO2.3具体实现2.4效果展示三、文章小结前言在最近的开发中，一星期内遇到了两个类似的需求：返回组装好的部门树、返回组装好的地区信息树，最终都需要返回List集合对象给前端。于是在经过需求分析和探索实践后，我对于这种基于Stream和List结构的父、子树形结构的操作有了新的认识，现在拿出来和大家作分享交流。一般来说完成这样的需求大多数人会想到递归，但递归的方式弊端过于明显：方法多次自调用效率很低、数据量大容易导致堆栈溢出、随着树深度的增加其时间复杂度会呈指数级增加等。核心思
目录前言一、以部门结构为例1.1实体1.2返回VO1.3具体实现1.4效果展示二、以省市县结构为例2.1实体2.2返回VO2.3具体实现2.4效果展示三、文章小结前言在最近的开发中，一星期内遇到了两个类似的需求：返回组装好的部门树、返回组装好的地区信息树，最终都需要返回List集合对象给前端。于是在经过需求分析和探索实践后，我对于这种基于Stream和List结构的父、子树形结构的操作有了新的认识，现在拿出来和大家作分享交流。一般来说完成这样的需求大多数人会想到递归，但递归的方式弊端过于明显：方法多次自调用效率很低、数据量大容易导致堆栈溢出、随着树深度的增加其时间复杂度会呈指数级增加等。核心思
