草庐IT

一站式Flink&Spark平台解决方案——StreamX

随着Flink&Spark生态的不断完善,越来越多的企业选择这两款组件,或者其中之一作为离线&实时的大数据开发工具,但是在使用他们进行大数据的开发中我们会遇到一些问题,比如:任务运行监控怎么处理?使用Cluster模式还是Nodeport暴露端口访问WebUI?提交任务能否简化打包镜像的流程?如何减少开发压力?而StreamX就是专为解决这些问题而出现的,其提供了如下的一些功能:开发脚手架Kubernetes部署模式支持YARN-Application部署模式支持多版本Flink支持(1.12.x,1.13.x,1.14.x)一系列开箱即用的Connectors支持项目编译功能(CICD/ma

flink sql 使用streamx平台 从kafka读取数据写入es

版本说明:flink1.12es6.31、查询flink官网。发现有sql可以直接写入es的    flink官网链接 ​​​​​​ApacheFlink1.12Documentation:ElasticsearchSQLConnector创建sink到es中的表 上图中有一个参数需要注意:document-type:在es-7版本中,不需要写。但是在es-6版本中就需要写了。原因(我感觉是):        6.0版本之前每个索引里都可以有多个type;        6.0版本之后每个索引里面只能有一个Type,一般使用_doc代替了。2、根据自己的配置书写demoCREATETABLE`