目录1.Docker安装与启动1.1安装Docker 1.2设置ustc的镜像 1.3Docker的启动与停止2.常用命令2.1镜像相关命令2.1.1查看镜像2.1.2搜索镜像 2.1.3 拉取镜像2.1.4 删除镜像2.2容器相关命令2.2.1查看容器2.2.2 创建与启动容器2.2.3停止与启动容器2.2.4文件拷贝2.2.5目录挂载2.2.6查看容器IP地址2.2.7删除容器3.应用部署3.1MySQL部署3.2Tomcat部署 3.3Nginx部署3.4Redis部署 4.迁移与备份4.1 容器保存为镜像4.2 镜像备份4.3镜像恢复与迁移 5.Dockerfile5.1 什么是Doc
前言FlinkCDC于2021年11月15日发布了最新版本2.1，该版本通过引入内置Debezium组件，增加了对Oracle的支持。对该版本进行试用并成功实现了对Oracle的实时数据捕获以及性能调优，现将试用过程中的一些关键细节进行分享。使用环境Oracle：11.2.0.4.0（RAC部署）Flink：1.13.1Hadoop：3.2.1问题1、无法连接数据库根据官方文档说明，在FlinkSQLCLI中输入以下语句：createtableTEST(Astring)WITH('connector'='oracle-cdc','hostname'='10.230.179.125','port
某天正在摸鱼的小邓，突然接到任务需要1个月内掌握flink并接手前辈遗留下来的大数据计算项目，于是便有了此文。1.flink 简单了解 有状态的数据计算、流批一体、高吞吐、低延迟、灵活、可扩展性好 发展历史： Flink起源于一个叫作Stratosphere的项目，它是由3所地处柏林的大学和欧洲其他一些大学在2010-2014年共同进行的研究项目，由柏林理工大学的教授沃克尔·马尔科(VolkerMarkl)领街开发2014年4月，Stratosphere的代码被复制并捐赠给了Apache软件基金会，Flink就是在此基础上被重新设计出来的。在德语中，“flink”一词表示“快速、
目录窗口分配器时间窗口计数窗口全局窗口窗口函数增量聚合函数全窗口函数（fullwindowfunctions）增量聚合和全窗口函数的结合使用WindowAPI主要由两部分构成：窗口分配器（WindowAssigners）和窗口函数（WindowFunctions）stream.keyBy().window()//指明窗口的类型.aggregate()//定义窗口具体的处理逻辑在window()方法中传入一个窗口分配器；在aggregate()方法中传入一个窗口函数；窗口分配器指定窗口的类型，定义数据应该被“分配”到哪个窗口方法：.window()参数：WindowAssigner返回值：Win
1、下载解压安装包到对应目录>[zhangflink@9wmwtivvjuibcd2epackage]$tar-zxvfflink-1.16.0-bin-scala_2.12.tgz-C../software/2、修改配置文件[zhangflink@9wmwtivvjuibcd2esoftware]$vimflink/conf/flink-conf.yaml#设置jobmanager的机器地址jobmanager.rpc.address:flinkv2#设置允许访问jobmanager的机器地址，相当于白名单，0.0.0.0表示允许所有机器访问jobmanager.bind-host:0.0.
💗💗💗💗💗💗💗💗💗💗💗💗💗💗💗💗💗💗💗💗💗💗💗💗💗💗💗💗💗💗💗💗💗关注git在本地的配置问题，可以参考这篇文章，写的较为详细：非常详细的Git环境配置步骤，如果相以gitee作为远程仓库也是同样的操作😊下面这张图个人觉得很不错，等学完了这一套之后就会觉得是真牛逼画的👉初始化相关操作：gitinit：初始化本地仓库，建立工作区，并对工作区进行版本监控gitstatus：查看当前状态，可以显示文件的新建、修改、删除等等操作gitadd.:添加工作区所有文件到到版本库的暂存区中，如果你要提交的是单个文件，你也可以用gitadd后面跟单个或者多个那文件即可👉提交到版本库分支：gitcommit-m"c
目录1.概述2.系统架构3.MySQL安装配置4.Doris安装配置5.Flink安装配置6.开始同步数据到Doris7.总结1.概述在实际业务系统中为了解决单表数据量大带来的各种问题，我们通常采用分库分表的方式对库表进行拆分，以达到提高系统的吞吐量。但是这样给后面数据分析带来了麻烦，这个时候我们通常试将业务数据库的分库分表同步到数据仓库时，将这些分库分表的数据，合并成一个库，一个表。便于我们后面的数据分析本篇文档我们就演示怎么基于FlinkCDC并结合ApacheDorisFlinkConnector及DorisStreamLoad的两阶段提交，实现MySQL数据库分库分表实时高效的接入到A
背景在上一个章节中已经介绍了基本的Flink-Operator安装，但是在实际的数据中台的项目中，用户可能希望看到FlinkOperator的运行日志情况，当然这可以通过修改Flink-OperatorPOD的文件实现卷挂载的形势将日志输出到宿主机器的指定目录下，但是这种办法对数据中台的产品不是特别友好，因此我们需要将Operator服务的日志输出到KafkaAppender中；因此我们需要修改FlinkOperator的helm中的values配置文件文件，达成我们的目标.默认情况下FlinkOperator不支持KafkaAppender日志输出，为了支持改能力，需要在flink-oper
Ksql的常用命令关键字：KingbaseES、ksql、交互工具、人大金仓、KingbaseES一、什么是ksql？1.1ksql概述Ksql是KingbaseES基于终端的前端，是KingbaseES的交互式客户端工具。提供交互式查询，通过文件输入或者命令行输入，得到查询结果。此外，ksql还提供一些元命令和多种类似shell的特性来为编写脚本和自动化多种任务提供方便。1.2ksql命令行架构Ksql命令行使用了一个两层模型，其中包括：1）客户端（用户命令行接口）：命令行用户界面基于字符终端来实现。2）数据库（KingbaseES数据库）：KingbaseES数据库使用基于消息的协议在Ks
《Flink详解》系列（已完结），共包含以下101010篇文章：【大数据】Flink详解（一）：基础篇（架构、并行度、算子）【大数据】Flink详解（二）：核心篇Ⅰ（窗口、WaterMark）【大数据】Flink详解（三）：核心篇Ⅱ（状态State）【大数据】Flink详解（四）：核心篇Ⅲ（Checkpoint、Savepoint、Exactly-Once）【大数据】Flink详解（五）：核心篇Ⅳ（反压、序列化、内存模型）【大数据】Flink详解（六）：源码篇Ⅰ（作业提交、Local方式、YARN方式、K8s方式）【大数据】Flink详解（七）：源码篇Ⅱ（作业图、执行图、调度、作业生命周期、T
