Flink SQL管理平台flink-streaming-platform-web安装搭建

大数据技术派 2023-03-28 原文

我的gitee地址：https://gitee.com/ddxygq/bigdata-technical-pai

最近看到有人在用flink sql的页面管理平台，大致看了下，尝试安装使用，比原生的flink sql界面确实好用多了，我们看下原生的，通过bin/sql-client.sh命令进入那个黑框，一只松鼠，对，就是那个界面。。。。

这个工具不是Flink官方出的，是一个国内的小伙伴写的，Github地址：

https://github.com/zhp8341/flink-streaming-platform-web

根据github上，作者的描述，flink-streaming-patform-web主要功能：

[1] 任务支持单流、双流、单流与维表等。
[2] 支持本地模式、yarn-per模式、STANDALONE模式 Application模式
[3] 支持catalog、hive。
[4] 支持自定义udf、连接器等,完全兼容官方连接器。
[5] 支持sql的在线开发，语法提示，格式化。
[6] 支持钉钉告警、自定义回调告警、自动拉起任务。
[7] 支持自定义Jar提交任务。
[8] 支持多版本flink版本（需要用户编译对应flink版本）。
[9] 支持自动、手动savepoint备份，并且从savepoint恢复任务。
[10] 支持批任务如：hive。
[11] 连接器、udf等三jar管理

是不是觉得很强大，很多同学已经摩拳擦掌想试试了。

安装

这里只介绍flink on yarn模式的安装，如果你的hadoop集群已经安装好了，大概半个小时就能好；否则，安装hadoop集群可老费事儿了。总体步骤如下：

第一步 hadoop集群

这里假设你的hadoop集群是好的，yarn是可以正常使用的，8088端口可以访问，如下：

第二步下载flink

flink on yarn，只需要下载一个flink安装包即可使用，下载命令：

http://archive.apache.org/dist/flink/flink-1.13.5/flink-1.13.5-bin-scala_2.11.tgz

解压

tar -xvf flink-1.13.5-bin-scala_2.11.tgz

关键：这里问题来了，我的flink怎么识别hadoop呢，需要配置一个环境变量，编辑 /etc/profile，键入内容：

export HADOOP_CONF_DIR=填你的hadoop配置文件目录，比如我的是/usr/local/hadoop2.8/etc/hadoop/conf
export HADOOP_CLASSPATH=`hadoop classpath`

好了，这样一个flink on yarn的环境就搭建好了。

第三步安装flink-streaming-patform-web

官方地址文章开头已经给出，在github找到下载地址： https://github.com/zhp8341/flink-streaming-platform-web/releases/，我下载的版本是这个。

为什么我下的是适配flink 1.14.3的，我前面安装flink1.13.5，我也是下了一堆flink，经过尝试，才发现flink1.13.5这个版本，适配flink-streaming-platform-web tagV20220625。

解压后，修改配置文件：application.properties，懂的人知道这个其实是个springboot的配置文件。

#### jdbc信息
server.port=9084
spring.datasource.url=jdbc:mysql://192.168.1.1:3306/flink_web?serverTimezone=UTC&useUnicode=true&characterEncoding=utf-8&useSSL=false
spring.datasource.username=bigdata
spring.datasource.password=bigdata

这里配置了一个数据库，需要自己新建一下，建表语句作者给出了：https://github.com/zhp8341/flink-streaming-platform-web/blob/master/docs/sql/flink_web.sql，把这段sql执行一下，在flink_web数据库建相应的一些整个系统运行需要的表。

启动web服务

# bin目录下面的命令

启动 : sh deploy.sh  start
停止 :  sh deploy.sh  stop

服务启动后，通过9084端口在浏览器访问

第四步配置flink web平台

这一步很关键，页面上点击系统设置，进入配置页面：

这里的参数意义：

Flink客户端目录：就是安装的Flink目录；
Flink管理平台目录：就是下载的flink-streaming-platform-web放的目录；
yarn RM http地址：就是yarn.resourcemanager.webapp.address，通常是8088端口；

经过测试，配置这3个参数即可使用。

第五步运行demo

这里以官方demo为例，[demo1 单流kafka写入mysqld 参考](https://github.com/zhp8341/flink-streaming-platform-web/blob/master/docs/sql_demo/demo_1.md)，这是一个通过flink sql消费kafka，聚合结果写入mysql的例子。

在flink_web数据建表

CREATE TABLE sync_test_1 (
  `day_time` varchar(64) NOT NULL,
  `total_gmv` bigint(11) DEFAULT NULL,
  PRIMARY KEY (`day_time`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

下载依赖jar包

因为涉及到kafka和mysql，需要对应的connector依赖jar包，下图中标注出来了，放在Flink的lib目录(/var/lib/hadoop-hdfs/flink-1.13.5/lib)下面：

wget https://repo1.maven.org/maven2/org/apache/flink/flink-connector-jdbc_2.11/1.13.5/flink-connector-jdbc_2.11-1.13.5.jar

https://repo1.maven.org/maven2/org/apache/flink/flink-connector-kafka_2.11/1.13.5/flink-connector-kafka_2.11-1.13.5.jar

技巧：下载Flink的依赖jar包，有个地方下载很方便，地址是：

https://repo1.maven.org/maven2/org/apache/flink/

这样依赖，一切都准备好了。

在web页面新建sql流任务：

我建的一个，任务属性我是这样填写的：

sql脚本内容：

create table flink_test_1 ( 
    id BIGINT,
    day_time VARCHAR,
    amnount BIGINT,
    proctime AS PROCTIME ()
)
with ( 
    'connector' = 'kafka',
    'topic' = 'flink_connector',
    'properties.bootstrap.servers' = 'kafka-001:9092', 
    'properties.group.id' = 'flink_gp_test1',
    'scan.startup.mode' = 'earliest-offset',
    'format' = 'json',
    'json.fail-on-missing-field' = 'false',
    'json.ignore-parse-errors' = 'true'
);
CREATE TABLE sync_test_1 (
    day_time string,
    total_gmv bigint,
    PRIMARY KEY (day_time) NOT ENFORCED
) WITH (
    'connector' = 'jdbc',
    'url' = 'jdbc:mysql://192.168.1.1:3306/flink_web?characterEncoding=UTF-8',
    'table-name' = 'sync_test_1',
    'username' = 'bigdata',
    'password' = 'bigdata'
);
INSERT INTO sync_test_1 
SELECT day_time,SUM(amnount) AS total_gmv
FROM flink_test_1
GROUP BY day_time;

创建好任务后，启动任务吧。

启动后，可以在yarn的8088端口页面看到起了一个application，名称是新建任务填写的名称加flink@前缀：

这个任务，我们点进去看，通过管理平台提交的sql任务确实跑起来了，这个页面了解Flink的同学就很熟悉了：

其实，这段sql脚本，我们可以在flink的bin/sql-client.sh进入的那个小松鼠的黑框里面执行的，你们可以试一下。

kafka控制台往主题里面写数据，主题不存在会自动创建：

我们再看看mysql里面：

数据已经进来了。

与Flink SQL的比较

我们可以看到，flink-streaming-platform-web这个工具只是让我们不需要在这个黑框里面写sql了，而是在网页上面写sql，系统会把写的sql进行校验给flink去执行，不管是flink-streaming-platform-web网页也好，还是那个黑框sql控制台，都是客户端，本质上都是flink提供的一些table api去执行任务。

有关Flink SQL管理平台flink-streaming-platform-web安装搭建的更多相关文章

ruby - i18n Assets 管理/翻译 UI - 2
我正在使用i18n从头开始构建一个多语言网络应用程序，虽然我自己可以处理一大堆yml文件，但我说的语言(非常)有限，最终我想寻求外部帮助帮助。我想知道这里是否有人在使用UI插件/gem(与django上的django-rosetta不同)来处理多个翻译器，其中一些翻译器不愿意或无法处理存储库中的100多个文件，处理语言数据。谢谢&问候，安德拉斯(如果您已经在rubyonrails-talk上遇到了这个问题，我们深表歉意) 最佳答案有一个rails3branchofthetolkgem在github上。您可以通过在Gemfi
ruby - 在 64 位 Snow Leopard 上使用 rvm、postgres 9.0、ruby 1.9.2-p136 安装 pg gem 时出现问题 - 2
我想为Heroku构建一个Rails3应用程序。他们使用Postgres作为他们的数据库，所以我通过MacPorts安装了postgres9.0。现在我需要一个postgresgem并且共识是出于性能原因你想要pggem。但是我对我得到的错误感到非常困惑当我尝试在rvm下通过geminstall安装pg时。我已经非常明确地指定了所有postgres目录的位置可以找到但仍然无法完成安装:$envARCHFLAGS='-archx86_64'geminstallpg--\--with-pg-config=/opt/local/var/db/postgresql90/defaultdb/po
ruby - 完全离线安装RVM - 2
我打算为ruby脚本创建一个安装程序，但我希望能够确保机器安装了RVM。有没有一种方法可以完全离线安装RVM并且不引人注目(通过不引人注目，就像创建一个可以做所有事情的脚本而不是要求用户向他们的bash_profile或bashrc添加一些东西)我不是要脚本本身，只是一个关于如何走这条路的快速指针(如果可能的话)。我们还研究了这个很有帮助的问题:RVM-isthereawayforsimpleofflineinstall?但有点误导，因为答案只向我们展示了如何离线在RVM中安装ruby。我们需要能够离线安装RVM本身，并查看脚本https://raw.github.com/wayn
ruby-on-rails - rails 目前在重启后没有安装 - 2
我有一个奇怪的问题:我在rvm上安装了rubyonrails。一切正常，我可以创建项目。但是在我输入“railsnew”时重新启动后，我有“程序'rails'当前未安装。”。SystemUbuntu12.04ruby-v"1.9.3p194"gemlistactionmailer(3.2.5)actionpack(3.2.5)activemodel(3.2.5)activerecord(3.2.5)activeresource(3.2.5)activesupport(3.2.5)arel(3.0.2)builder(3.0.0)bundler(1.1.4)coffee-rails(
ruby - 如何为 emacs 安装 ruby-mode - 2
我刚刚为fedora安装了emacs。我想用emacs编写ruby。为ruby提供代码提示、代码完成类型功能所需的工具、扩展是什么？最佳答案 ruby-mode已经包含在Emacs23之后的版本中。不过，它也可以通过ELPA获得。您可能感兴趣的其他一些事情是集成RVM、feature-mode(Cucumber)、rspec-mode、ruby-electric、inf-ruby、rinari(用于Rails)等。这是我当前用于Ruby开发的Emacs配置:https://github.com/citizen428/emacs
ruby-on-rails - 无法在centos上安装therubyracer(V8和GCC出错) - 2
我正在尝试在我的centos服务器上安装therubyracer，但遇到了麻烦。$geminstalltherubyracerBuildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingtherubyracer:ERROR:Failedtobuildgemnativeextension./usr/local/rvm/rubies/ruby-1.9.3-p125/bin/rubyextconf.rbcheckingformain()in-lpthread...yescheckingforv8.h...no***e
ruby - 通过 RVM (OSX Mountain Lion) 安装 Ruby 2.0.0-p247 时遇到问题 - 2
我的最终目标是安装当前版本的RubyonRails。我在OSXMountainLion上运行。到目前为止，这是我的过程:已安装的RVM$\curl-Lhttps://get.rvm.io|bash-sstable检查已知(我假设已批准)安装$rvmlistknown我看到当前的稳定版本可用[ruby-]2.0.0[-p247]输入命令安装$rvminstall2.0.0-p247注意:我也试过这些安装命令$rvminstallruby-2.0.0-p247$rvminstallruby=2.0.0-p247我很快就无处可去了。结果:$rvminstall2.0.0-p247Search
ruby - 如何在 Lion 上安装 Xcode 4.6，需要用 RVM 升级 ruby - 2
我实际上是在尝试使用RVM在我的OSX10.7.5上更新ruby，并在输入以下命令后:rvminstallruby我得到了以下回复:Searchingforbinaryrubies,thismighttakesometime.Checkingrequirementsforosx.Installingrequirementsforosx.Updatingsystem.......Errorrunning'requirements_osx_brew_update_systemruby-2.0.0-p247',pleaseread/Users/username/.rvm/log/138121
ruby - Fast-stemmer 安装问题 - 2
由于fast-stemmer的问题，我很难安装我想要的任何rubygem。我把我得到的错误放在下面。Buildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingfast-stemmer:ERROR:Failedtobuildgemnativeextension./System/Library/Frameworks/Ruby.framework/Versions/2.0/usr/bin/rubyextconf.rbcreatingMakefilemake"DESTDIR="cleanmake"DESTDIR=
ruby - 如何验证 IO.copy_stream 是否成功 - 2
这里有一个很好的答案解释了如何在Ruby中下载文件而不将其加载到内存中:https://stackoverflow.com/a/29743394/4852737require'open-uri'download=open('http://example.com/image.png')IO.copy_stream(download,'~/image.png')我如何验证下载文件的IO.copy_stream调用是否真的成功——这意味着下载的文件与我打算下载的文件完全相同，而不是下载一半的损坏文件？documentation说IO.copy_stream返回它复制的字节数，但是当我还没有下

Flink SQL管理平台flink-streaming-platform-web安装搭建

安装

第一步 hadoop集群

第二步 下载flink

第三步 安装flink-streaming-patform-web

第四步 配置flink web平台