集成背景我们当前集群使用的是ClouderaCDP，Flink版本为ClouderaVersion1.14，整体Flink安装目录以及配置文件结构与社区版本有较大出入。直接根据Streampark官方文档进行部署，将无法配置FlinkHome，以及后续整体Flink任务提交到集群中，因此需要进行针对化适配集成，在满足使用需求上，尽量提供完整的Streampark使用体验。集成步骤版本匹配问题解决首先解决无法识别Cloudera中的FlinkHome问题，根据报错主要明确到的事情是无法读取到Flink版本、lib下面的jar包名称无法匹配。修改对象：修改源码：（解决无法匹配clouderajar

【Apache-StreamPark】Flink开发利器StreamPark的介绍、安装、使用1）框架介绍与引入1.1.🚀什么是StreamPark1.2.🎉Features1.3.🏳‍🌈组成部分1.4.引入StreamPark2）安装部署2.1.环境要求2.2.Hadoop2.3.Kubernetes2.4.安装2.5.启动2.6.系统登录2.7.系统配置2.7.1.SystemSetting2.7.2.AlertSetting2.7.3.FlinkHome2.7.4.FlinkCluster3）StreamPark使用1）框架介绍与引入1.1.🚀什么是StreamPark1.2.🎉Feat

（一）直接部署（手动测试用，不推荐）FlinkonNativeKubernetes目前支持Application模式和Session模式，两者对比Application模式部署规避了Session模式的资源隔离问题、以及客户端资源消耗问题，因此生产环境更推荐采用ApplicationMode部署Flink任务。下面我们分别看看使用原始脚本的方式和使用StreamPark开发部署一个FlinkonNativeKubernetes作业的流程。使用脚本方式部署Kubernetes在Flink客户端节点准备kubectl和Docker命令运行环境，创建部署Flink作业使用的KubernetesNam

🚀什么是PiflowXPiFlow是一个基于分布式计算框架Spark开发的大数据流水线系统。该系统将数据的采集、清洗、计算、存储等各个环节封装成组件，以所见即所得方式进行流水线配置。简单易用，功能强大。它具有如下特性：简单易用：可视化配置流水线，实时监控流水线运行状态，查看日志；功能强大：提供100+的数据处理组件，包括Hadoop、Spark、MLlib、Hive、Solr、Redis、MemCache、ElasticSearch、JDBC、MongoDB、HTTP、FTP、XML、CSV、JSON等，同时集成了微生物领域的相关算法；扩展性强：支持自定义开发数据处理组件；性能优越：基于分布式

导读：本文主要介绍顺网科技在使用Flink计算引擎中遇到的一些挑战，基于StreamPark作为实时数据平台如何来解决这些问题，从而大规模支持公司的业务。公司业务介绍遇到的挑战为什么用StreamPark落地实践带来的收益未来规划 公司业务介绍杭州顺网科技股份有限公司成立于2005年，秉承科技连接快乐的企业使命，是国内具有影响力的泛娱乐技术服务平台之一。多年来公司始终以产品和技术为驱动，致力于以数字化平台服务为人们创造沉浸式的全场景娱乐体验。自顺网科技成立以来，随着业务快速发展，顺网科技服务了8万家线下实体店，拥有超过5000万互联网用户，年触达超1.4亿网民，每10家公共上网服务场所有7家使

一、StreamPark简介StreamPark（原StreamX）是一个流处理应用程序开发管理框架。初衷是让流处理更简单，旨在轻松构建和管理流处理应用程序，提供使用ApacheFlink和ApacheSpark编写流处理应用程序的开发框架，未来将支持更多其他引擎。同时，StreamPark提供了一个流处理应用管理平台，核心能力包括但不限于应用开发、调试、交互查询、部署、运维、实时数仓等。官方网站：https://streampark.apache.org二、快速安装使用1.使用docker-compose安装1.1安装docker首先要安装docker，要求如下：Docker1.13.1+D