Git整体工作流程：Workspace：工作区Index/Stage：暂存区Repository：仓库区（或本地仓库）Remote：远程仓库一、版本仓库： 1.通过命令gitinit把这个目录变成git可以管理的仓库（这就欧科啦）（会生成.git文件）默认.git文件不显示2.gitadd xxxxx （将工作区的指定文件添加到暂存区中） 没有任何提示，说明已经添加成功了3.gitcommit-m ‘一些提交注释’（把文件提交到本地仓库）4.gitstatus （查看是否有文件没有被提交） 展示说明没有任何文件未提交，但是我现在继续来改下readme.txt内
FFmpeg的命令繁多，为了方便查询，在此作一个汇总可参考：https://ffmpeg.org/ffmpeg.html#Options目录一、命令基本格式及参数二、基本信息查询命令三、分解、复用四、处理原始数据五、滤镜六、拼接与裁剪七、直播八、ffplay九、其它一、命令基本格式及参数ffmpeg[global_options]{[input_file_options]-iinput_url}... {[output_file_options]output_url}...一些参数：参数说明-ffmt(输入/输出)强制输入或输出文件格式-y(全局参数)覆盖输出文件而不询问-n(全局参
Flink实现同时消费多个kafkatopic，并输出到多个topic1.说明2.依赖引用3.方案一：适用于==sinktopic==存在跨集群等kafka生产者配置信息不相同的情况3.1配置文件3.2java代码3.3运行图（ps:为了更好的展示循环中包含算子，将sink算子并行度设为了1，发生了rebalance）4.方案二：适用于输入及输出topic都用属于一个集群的场景4.1配置文件同上4.2Java代码5.业务使用场景：1.说明1）代码使用的flink版本为1.16.1，旧版本的依赖及api可能不同，同时使用了hutool的JSON工具类，两者均可自行更换；2）本次编写的两个方案，均
一.引言ProcessFunction原始执行状态为每个key注册一个较长时间TimeTimer并在这期间将所有对应key的数据都收集起来，到期完成触发。现在接到新的需求，要求判断数据类型，当特殊标识的数据到达后，需要将TimeTimer到期的时间提前。因此需要删掉当前key之前注册的老的TimeTimer，下面铺下自己踩坑的完整过程。二.情景复现1.数据源为了测试数据，我们自定义数据流，其中SourceInfo为CaseClass，包含了key、sendTime与isRealTime三个字段，前两个常规字段，ProcessFunction会根据先到的SourceInfo获取其SendTime
目录Apache Flink架构介绍一、Flink组件栈二、Flink运行时架构Apache Flink架构介绍一、Flink组件栈在Flink的整个
总览： importorg.apache.flink.streaming.api.scala._importorg.apache.flink.streaming.api.scala.StreamExecutionEnvironmentimportorg.apache.flink.table.api.EnvironmentSettingsimportorg.apache.flink.table.api.bridge.scala.{StreamTableEnvironment,tableConversions}objectsqlQueryTable{ defmain(args:Array[St
1.版本说明本文档内容基于flink-1.13.x，其他版本的整理，请查看本人博客的flink专栏其他文章。2.Checkpoint2.1.概述Checkpoint使Flink的状态具有良好的容错性，通过checkpoint机制，Flink可以对作业的状态和计算位置进行恢复。参考Checkpointing查看如何在Flink程序中开启和配置checkpoint。2.2.Checkpoint存储当开启checkpointing时，管理的状态会被持久化以保证在任务失败时进行一致性恢复，checkpointing期间的状态持久化位置取决于选择的checkpoint存储。2.3.可用的Checkpoi
Flink部署之Yarn一、环境准备1、Flink是一个分布式的流处理框架，所以实际应用一般都需要搭建集群环境。需要准备3台Linux机器。具体要求如下：系统环境为CentOS7.5版本。安装Java8。安装Hadoop集群，Hadoop建议选择Hadoop2.7.5以上版本。配置集群节点服务器间时间同步以及免密登录，关闭防火墙。三台服务器的具体设置如下：节点服务器1，IP地址为192.168.88.102，主机名为hadoop102。节点服务器2，IP地址为192.168.88.103，主机名为hadoop103。节点服务器3，IP地址为192.168.88.104，主机名为hadoop10
本博客总结为B站尚硅谷大数据Flink2.0调优，Flink性能优化视频中常见故障排除的的笔记总结。1.非法配置异常如果看到从TaskExecutorProcessUtils或JobManagerProcessUtils抛出的IllegalConfigurationException，通常表明存在无效的配置值（例如负内存大小、大于1的分数等）或配置冲突。请重新配置内存参数。2.Java堆空间异常如果报OutOfMemoryError:Javaheapspace异常，通常表示JVMHeap太小。可以通过增加总内存来增加JVM堆大小。也可以直接为TaskManager增加任务堆内存或为JobMan
环境window10flink-1.16.1-bin-scala_2.12下载下载链接：https://archive.apache.org/dist/flink/flink-1.16.1/安装1.10版本以后，安装包\bin中不含flink.bat和start-cluster.bat启动文件，需要我们新建或复制1.9版本的文件。flink.bat::###############################################################################::LicensedtotheApacheSoftwareFoundation(ASF)
