草庐IT

flink常用命令

全部标签

创建第一个 Flink 项目

一、运行环境介绍Flink执行环境主要分为本地环境和集群环境,本地环境主要为了方便用户编写和调试代码使用,而集群环境则被用于正式环境中,可以借助HadoopYarn、k8s或Mesos等不同的资源管理器部署自己的应用。环境依赖:【1】JDK环境:Flink核心模块均使用Java开发,所以运行环境需要依赖JDK,JDK版本需要保证在1.8以上。【2】Maven编译环境:Flink的源代码目前仅支持通过Maven进行编译,所以如果需要对源代码进行编译,或通过IDE开发FlinkApplication,则建议使用Maven作为项目工程编译方式。需要注意的是,Flink程序需要Maven的版本在3.0

docker 搭建 flink 并上传任务

文章目录一、docker搭建flink1、选择合适的flink版本2、重新创建JobManager、TaskManager容器并挂载配置文件二、flink简单示例1、创建项目架构2、批处理简单示例3、流处理简单示例4、上传flink集群①、UI界面提交任务②、命令提交任务5、web-ui提交查看撤销任务三、待解决一、docker搭建flink1、选择合适的flink版本docker安装就不介绍了,去dockerHub搜索flink镜像,选择合适的版本安装https://hub.docker.com/_/flink/tags使用docker命令dockerpullflink:1.16.0-sca

PostgreSQL常用命令-创建数据库、用户、多模式schema、修改用户密码、访问其他模式或在其他模式建表的权限、切换用户、无法删除数据库、导入导出sql、活用set search_path、建表

目录序言1、创建PostgreSQL的数据库命令tips:使用双引号区分英文大小写名字,单引号隔开SQL命令和内容,SQL命令英文大小写都可以2、创建用户命令3、修改用户密码4、创建多模式5、修改多模式的拥有者6、分配用户访问其他模式的权限或在其他模式建表的权限6.1撤销权限命令多用户多模式权限分配步骤7、切换数据库并切换用户8、删除数据库和删除用户8.1、删除数据库时,报错无法删除数据库的问题,会话存在9、导入/导出sql文件命令9.1导入sql文件命令9.2导出sql文件命令10、活用setsearch_path总结11、创建表(or其他模式的表)11.1模式的使用与创建模式内的表:11.

Linux常用命令——find命令

在线Linux命令查询工具find在指定目录下查找文件补充说明find命令用来在指定目录下查找文件。任何位于参数之前的字符串都将被视为欲查找的目录名。如果使用该命令时,不设置任何参数,则find命令将在当前目录下查找子目录与文件。并且将查找到的子目录和文件全部进行显示。语法find(选项)(参数)选项-amin分钟>:查找在指定时间曾被存取过的文件或目录,单位以分钟计算;-anewer参考文件或目录>:查找其存取时间较指定文件或目录的存取时间更接近现在的文件或目录;-atime24小时数>:查找在指定时间曾被存取过的文件或目录,单位以24小时计算;-cmin分钟>:查找在指定时间之时被更改过的

【云原生丶Docker】Docker容器常用命令大全

在Docker核心概念理解一文中,我们知道Docker容器其实就是一个轻量级的沙盒,应用运行在不同的容器中从而实现隔离效果。容器的创建和运行是以镜像为基础的,容器可以被创建、销毁、启动和停止等。本文将介绍下容器的这些常用操作命令。1、新建并运行容器dockerrun命令表示新建并运行容器,它等同于dockercreate命令+dockerstart命令的融合。dockerrun命令的基本格式为:dockerrun[设置参数][镜像名/ID]dockerrun命令有许多可选的设置参数,这些设置参数主要用来设置容器的运行状态,通过dockerrun--help我们可以通过帮助指引来查看其支持哪些参

Flink 中kafka broker缩容导致Task一直重启

背景Flink版本1.12.2Kafka客户端2.4.1在公司的Flink平台运行了一个读Kafka计算DAU的流程序,由于公司Kafka的缩容,直接导致了该程序一直在重启,重启了一个小时都还没恢复(具体的所容操作是下掉了四台kafkabroker,而当时flink配置了12台kafkabroker),当时具体的现场如下:JobManaer上的日志如下:2023-10-0710:02:52.975INFOorg.apache.flink.runtime.executiongraph.ExecutionGraph-Source:TableSourceScan(table=[[default_ca

git常用命令

git常用命令速查查看配置信息:gitconfig—list查看git命令的具体用法克隆远程仓库:gitcloneurl在已存在的目录上初始化仓库:gitinit查看仓库中文件状态:gitstatus跟踪新文件:gitadd暂存已修改的文件:gitadd忽略文件.gitignore查看已暂存文件和未暂存文件之间修改的变化:gitdiff提交更新:gitcommit移除文件:gitrm移动文件:gitmvsouredestination查看提交历史:gitlog版本穿梭:gitreset—hard查看分支:gitbranch-v创建一个新的分支:gitbranch查看配置信息:gitconfig

Docker常用命令

docker常用命令1基础命令sudodockerversion#查看docker的版本信息sudodockerinfo#查看docker系统信息,包括镜像和容器的数量2镜像命令sudodockerimages**#查看本地主机的所有主机镜像#解释**REPOSITORY****#镜像的仓库源****TAG****#镜像的标签****IMAGEID ****#镜像的id****CREATED ****#镜像的创建时间****SIZE ****#镜像的大小**#可选参数**-a/--all****列出所有镜像****-q/--quiet****只显示镜像的id**2.sudodocker

Flink高手之路2-Flink集群的搭建

文章目录Flink高手之路2-Flink集群的搭建一、Flink的安装模式1.本地local模式2.独立集群模式standalone3.高可用的独立集群模式standaloneHA4.基于yarn模式Flinkonyarn二、基础环境三、Flink的local模式安装1.下载安装包2.上传服务器3.解压4.配置环境变量5.使环境变量起作用6.测试显示版本7.测试scalashell交互命令行(可跳过)1)安装一下Flink1.12版本2)启动命令行3)webui查看4)scala命令行示例-单词计数(批处理)5)scala命令行示例2-窗口计数(流处理)6)退出命令行8.local模式测试9.

ubuntu使用教程与常用命令

ubuntu使用教程一、Ubuntu简介Ubuntu(乌班图)是一个基于Debian的以桌面应用为主的Linux操作系统,据说其名称来自非洲南部祖鲁语或科萨语的“ubuntu”一词,意思是“人性”、“我的存在是因为大家的存在”,是非洲传统的一种价值观。二、下载及安装ubuntu官方网站:http://www.ubuntu.com中文地址为:http://www.ubuntu.org.cn/index_kylin桌面版下载地址:http://www.ubuntu.com/download/desktop三、安装过程中的知识点:虚拟机的网络类型的简单理解:  虚拟机是在我们的操作系统里使用软件模拟