SQL的分类一、DDL（DataDefinition Language）数据库定义语言create/alter/drop/rename/truncate1.数据库1-1.创建数据库方式1：直接创建CREATEDATABASE数据库名;方式2：创建数据库并指定字符集CREATEDATABASE数据库名CHARACTERSET字符集;方式3（推荐使用）：判断数据库是否已经存在，不存在则创建数据库CREATEDATABASEIFNOTEXISTS数据库名;1-2.管理数据库1-2-1.查看当前连接中的数据库都有哪些SHOWDATABASES1-2-2.切换数据库USE数据库名;1-2-3.查看当前数
Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用api介绍及入门示例14、Flink的tableapi与sql之数据类型:内置数据类型以及它们的属性15、Flink的tableapi与sql之流式概念-详解的介绍了动态表、时间属性配置（如何处理更新结果）、时态表、流上的join、流上的确定性以及查询配置16、Flink的tableapi与sql之连接外部系统:读写外部系统的连接器和格式以及FileSystem示例（1）16、Flink的ta
Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用api介绍及入门示例14、Flink的tableapi与sql之数据类型:内置数据类型以及它们的属性15、Flink的tableapi与sql之流式概念-详解的介绍了动态表、时间属性配置（如何处理更新结果）、时态表、流上的join、流上的确定性以及查询配置16、Flink的tableapi与sql之连接外部系统:读写外部系统的连接器和格式以及FileSystem示例（1）16、Flink的ta
文章目录SQL聚合函数（AggregateFunction）SQL聚合函数（AggregateFunction）PythonUDAF，即PythonAggregateFunction。PythonUDAF用来针对一组数据进行聚合运算，比如同一个window下的多条数据、或者同一个key下的多条数据等。针对同一组输入数据，PythonAggregateFunction产生一条输出数据。比如以下示例，定义了一个名字为weighted_avg的PythonUDAF：frompyflink.c
曾经红遍一时的Scala想当初Spark横空出世之后，Scala简直就是语言界的一颗璀璨新星，惹得大家纷纷侧目，连Kafka这类技术框架也选择用Scala语言进行开发重构。可如今，Flink竟然公开宣布弃用Scala在Flink1.18的官方文档里，有一句非常严肃的话：所有的FlinkScalaAPIs已被标记为废弃，且将在未来版本中予以移除。AllFlinkScalaAPIsaredeprecatedandwillberemovedinafutureFlinkversion.YoucanstillbuildyourapplicationinScala,butyoushouldmovetoth
文章目录一.flink主键声明语法二.物理表创建联合主键表三.flinksql使用一.flink主键声明语法主键用作Flink优化的一种提示信息。主键限制表明一张表或视图的某个（些）列是唯一的并且不包含Null值。主键声明的列都是非nullable的。因此主键可以被用作表行级别的唯一标识。主键可以和列的定义一起声明，也可以独立声明为表的限制属性，不管是哪种方式，主键都不可以重复定义，否则Flink会报错。 有效性检查SQL标准主键限制可以有两种模式：ENFORCED或者NOTENFORCED。它申明了是否输入/出数据会做合法性检查（是否唯一）。 Flink不存储数据因此只支持NOTENFORC
一、常用命令（一）基本命令1.关机shutdown-hnow 立刻关机shutdown-h5 5分钟后关机poweroff 立刻关机2.重启shutdown-rnow 立刻重启shutdown-r5 5分钟后重启reboot 立刻重启3.帮助--help命令shutdown--help：ifconfig--help：查看网卡信息man命令（命令说明书）manshutdown注意：manshutdown打开命令说明书之后，使用按键q退出（二）目录命令1.目录切换cd/切换到根目录cd/usr切换到根目录下的usr目录cd../切换到上一级目录或者c
一、系统管理1、查看节点状态GET_cat/nodes?v//返回ipheap.percentram.percentcpuload_1mload_5mload_15mnode.rolemastername10.244.0.5639936.676.195.38mdi*elasticsearch-es-default-110.244.0.3849936.676.195.38mdi-elasticsearch-es-default-02、索引状态GET/_cat/indices?v//得到healthstatusindexuuidprirepdocs.countdocs.deletedstore.s
系统架构Flink运行时架构Standalone会话模式为例1）作业管理器（JobManager）JobManager是一个Flink集群中任务管理和调度的核心，是控制应用执行的主进程。每个应用都应该被唯一的JobManager所控制执行。JobManger又包含3个不同的组件。（1）JobMasterJobMaster是JobManager中最核心的组件，负责处理单独的作业（Job）。JobMaster和具体的Job是一一对应的，多个Job可以同时运行在一个Flink集群中，每个Job都有一个自己的JobMaster。在作业提交时，JobMaster会先接收到要执行的应用。JobMaster
Flink、Yarn架构，以FlinkonYarn部署原理详解Flink架构概览ApacheFlink是一个开源的分布式流处理框架，它可以处理实时数据流和批处理数据。Flink的架构原理是其实现的基础，架构原理可以分为以下四个部分：JobManager、TaskManager、JobGraph、Checkpoint。JobManagerJobManager是Flink集群的控制节点，负责接收用户提交的任务，将任务分配给TaskManager进行执行，并监控任务的执行状态。JobManager还负责保存和恢复Flink应用程序的状态信息，以及维护JobGraph，对任务进行调度和优化。TaskM
