背景看到ApacheDolphinScheduler社区群有很多用户反馈和讨论这块问题，针对不兼容的问题，不仅需要自己重新编译各一个新包，而且因为默认是使用zk-3.8的配置，所以会出现不兼容问题。使用zk-3.4配置即可适配3.4.x解决办法（一）切换到项目源码的根路径中执行mvncleanpackage-T1C-Prelease'-Dmaven.test.skip=true''-Dcheckstyle.skip=true''-Dmaven.javadoc.skip=true''-Dzk-3.4'上述命令解释mvncleanpackage 依次执行了clean、resources、compi
数仓学习——DolphinScheduler任务调度工具前言一、DolphinScheduler简介1.DolphinScheduler概述2.DolphinScheduler组件3.DolphinScheduler核心架构二、DolphinScheduler部署说明1.软硬件环境要求1.1操作系统版本要求1.2服务器硬件要求2.部署模式2.1单机模式2.2伪集群模式2.3集群模式三、DolphinScheduler集群模式部署1.集群规划2.前置准备工作3.解压DolphinScheduler安装包4.初始化数据库5.配置一键部署脚本6.一键部署DolphinScheduler7.Dolph
背景先说下我们数仓大致的数据链路。各个业务系统的数据库->hive->doris->报表/邮件/系统hive里ods层几乎所有的数据都依赖于从业务库拉取，但是偶尔也难以避免的会遇到拉取失败或者集群（主要是业务库）宕机的情况，导致ods层数据大批量的拉取失败，从而影响到dwd层、dws层、ads层等数以千计的hive表，进而影响到数据。每当遇到宕机的情况我们的解决方案是——重新拉取数据后把失败的工作流从后往前一个个重跑，一上午甚至大半天的时间就这么过去了，手累，心也累。最主要的问题在于，各个DS工作流之前的顺序是不能搞错的，否则还需要重跑。所以单纯按照工作流失败的顺序来执行，不仅麻烦且容易出错。
1.环境准备1.1集群规划本次安装环境为：3台k8s+现有的mysql数据库+nfs1.2下载及介绍DolphinScheduler-3.2.0官网：https://dolphinscheduler.apache.org/zh-cn/download/3.2.0官网安装文档：https://dolphinscheduler.apache.org/zh-cn/docs/3.2.0/guide/installation/kubernetes#appendix-configurationr2.前置工作默认k8s集群已经安装完成，本次已腾讯的TKE为例介绍参考腾讯TKE官方文档：https://clo
一、海豚调度介绍ApacheDolphinScheduler是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景，提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。ApacheDolphinScheduler旨在解决复杂的大数据任务依赖关系，并为应用程序提供数据和各种OPS编排中的关系。解决数据研发ETL依赖错综复杂，无法监控任务健康状态的问题。DolphinScheduler以DAG（DirectedAcyclicGraph，DAG）流式方式组装任务，可以及时监控任务的执行状态，支持重试、指定节点恢复失败、暂停、恢复、终止任务等操作。二、海豚调度特性简单
概述ApacheDolphinScheduler是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景，提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。ApacheDolphinScheduler旨在解决复杂的大数据任务依赖关系，并为应用程序提供数据和各种OPS编排中的关系。解决数据研发ETL依赖错综复杂，无法监控任务健康状态的问题。DolphinScheduler以DAG（DirectedAcyclicGraph，DAG）流式方式组装任务，可以及时监控任务的执行状态，支持重试、指定节点恢复失败、暂停、恢复、终止任务等操作。特性1.**简单易用**可视化D
概述ApacheDolphinScheduler是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景，提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。ApacheDolphinScheduler旨在解决复杂的大数据任务依赖关系，并为应用程序提供数据和各种OPS编排中的关系。解决数据研发ETL依赖错综复杂，无法监控任务健康状态的问题。DolphinScheduler以DAG（DirectedAcyclicGraph，DAG）流式方式组装任务，可以及时监控任务的执行状态，支持重试、指定节点恢复失败、暂停、恢复、终止任务等操作。特性1.**简单易用**可视化D
今天，ApacheDolphinScheduler3.2.0版本在万众期待中终于发布了！在之前的预告中，包括《重磅预告！ApacheDolphinScheduler3.2.0新功能“剧透”》、《3.2.0版本预告！ApacheDolphinSchedulerAPI增强相关功能》、《3.2.0版本预告！远程日志解决Worker故障获取不到日志的问题》，以及《3.2.0终极预告！云原生支持新增Sparkonk8S支持》文章汇总已经大致覆盖了3.2.0版本的全新功能和优化。现在，来看看新版本的全新“样貌”吧！ReleaseNote:https://github.com/apache/dolphins
摘要随着任务数量、任务类型需求不断增长，对我们的数据开发平台提出了更高的要求。本文主要分享我们将调度引擎升级到ApacheDolphinScheduler的实践经验，以及对数据开发平台的一些思考。1.背景首先介绍下我们的大数据平台架构：数据计算层承接了全公司的数据开发需求，负责运行各类指标计算任务。其中批计算任务运行在UDA数据开发平台，支持任务全链路的开发场景：开发、调试、环境隔离、运维、监控。这些功能的支持、任务的稳定运行，强依赖底层的调度系统。原有调度系统是2015年(抑或更早)自研的，随着任务类型新增、任务数量增多，暴露出诸多问题：稳定性：频繁出现mysql连接不释放、锁超时等问题；数
摘要随着任务数量、任务类型需求不断增长，对我们的数据开发平台提出了更高的要求。本文主要分享我们将调度引擎升级到ApacheDolphinScheduler的实践经验，以及对数据开发平台的一些思考。1.背景首先介绍下我们的大数据平台架构：数据计算层承接了全公司的数据开发需求，负责运行各类指标计算任务。其中批计算任务运行在UDA数据开发平台，支持任务全链路的开发场景：开发、调试、环境隔离、运维、监控。这些功能的支持、任务的稳定运行，强依赖底层的调度系统。原有调度系统是2015年(抑或更早)自研的，随着任务类型新增、任务数量增多，暴露出诸多问题：稳定性：频繁出现mysql连接不释放、锁超时等问题；数
