奇富科技（原360数科）是人工智能驱动的信贷科技服务平台，致力于凭借智能服务、AI研究及应用、安全科技，赋能金融机构提质增效，助推普惠金融高质量发展，让更多人享受到安全便捷的金融科技服务。作为国内领先的信贷科技服务品牌，累计注册用户数2亿多。奇富科技之前使用的是自研的任务调度框架，基于Python研发的，经常面临着调度不稳定的状况，难以维护。后来引入了ApacheDolphinScheduler作为公司的大数据任务调度系统，面对大量任务调度的考验，经历了半年磨合期，目前ApacheDolphinScheduler在奇富科技运行非常稳定。本文将介绍该公司团队最近一年在开源版ApacheDolph

作者|代立冬编辑|DebraChenApacheDolphinScheduler是现代数据工作流编排平台，具有非常强大的可视化能力，DolphinScheduler致力于使数据工程师、分析师、数据科学家等数据工作者都可以简单轻松地搭建各种数据工作流，让数据处理流程更简单可靠。DolphinScheduler非常易于使用(easytouse)，目前有四种创建工作流的方法：在UI界面上直接通过拖放任务的方式来创建任务PyDolphinScheduler，通过PythonAPI创建工作流，也就是workflowascode的方式编写yaml文件，通过yaml创建工作流（目前必须安装PyDolphin

DolphinScheduler跨版本升级1.3.8至3.0.1Refer背景基础环境依赖版本升级修改pom.xml问题解决MYSQL升级1.文件替换2.修改表结构t_ds_process_definitiont_ds_alertt_ds_process_instance3.时间参数修改4.数据库升级DOLPHIN安装zookeeper集群创建用户dolphinscheduler_env.shinstall_env.sh安装登录问题1.迁移后任务报错示例2.存储未启用Refer遵循历史，依然要感谢各位在网上的输出！升级前还在考虑是否有可参考的文档呢，结果还真有大哥在做，给到了很多支持，感谢！d

一、Dolphinscheduler简介ApacheDolphinScheduler是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景，提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。ApacheDolphinScheduler旨在解决复杂的大数据任务依赖关系，并为应用程序提供数据和各种OPS编排中的关系。解决数据研发ETL依赖错综复杂，无法监控任务健康状态的问题。DolphinScheduler以DAG（DirectedAcyclicGraph，DAG）流式方式组装任务，可以及时监控任务的执行状态，支持重试、指定节点恢复失败、暂停、恢复、终止任务等操

ApacheDolphinScheduler是一款开源的分布式任务调度系统，旨在帮助用户实现复杂任务的自动化调度和管理。DolphinScheduler支持多种任务类型，可以在单机或集群环境下运行。下面将介绍如何实现DolphinScheduler的自动化打包和单机/集群部署。自动化打包所需环境：maven、jdk执行以下shell完成代码拉取及打包，打包路径：/opt/action/dolphinscheduler/dolphinscheduler-dist/target/apache-dolphinscheduler-dev-SNAPSHOT-bin.tar.gzsudosu-root单机

DolphinScheduler3.1简介、部署、功能介绍以及架构设计1.DolphinScheduler简介1-1.关于DolphinSchedulerApacheDolphinScheduler是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景，提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。ApacheDolphinScheduler旨在解决复杂的大数据任务依赖关系，并为应用程序提供数据和各种OPS编排中的关系。解决数据研发ETL依赖错综复杂，无法监控任务健康状态的问题。DolphinScheduler以DAG（DirectedAcyclicGr

文章目录文件管理基础操作创建文件上传文件文件查看下载文件文件重命名删除文件任务样例创建shell文件创建工作流执行文件查看结果UDF管理函数管理任务样例编写UDF函数配置UDF函数使用UDF函数任务组管理任务组配置新建任务组查看任务组队列任务组的使用任务组的实现逻辑获取任务组资源：释放与唤醒：任务组流程图文件管理当在调度过程中需要使用到第三方的jar或者用户需要自定义脚本的情况，可以通过在该页面完成相关操作。可创建的文件类型包括：txt/log/sh/conf/py/java等。并且可以对文件进行编辑、重命名、下载和删除等操作。注意：当您以admin身份等入并操作文件时，需要先给admin设置

作者|sqlboy-yuzhenc背景介绍在实际应用中，我们经常需要将特定的任务通知给特定的人，虽然ApacheDolphinScheduler在安全中心提供了告警组和告警实例，但是配置起来相对复杂，并且还需要在定时调度时指定告警组。通过这篇文章，你将学到一个简单的方法，无需任何配置，只需要在用户表（t_ds_user）表中增加字段钉钉名称（dignding_name），创建用户时指定用户的手机号码和维护对应的钉钉名称，就能轻松实现ApacheDolphinScheduler任务失败时钉钉告警到指定的人。安装插件plpython3upsqletl-Upostgrescreateextensio

DolphinScheduler是一个开源的分布式任务调度系统，拥有分布式架构、多任务类型、可视化操作、分布式调度和高可用等特性，适用于大规模分布式任务调度的场景。目前DolphinScheduler支持的元数据库有Mysql、PostgreSQL、H2，如果在业务中需要更好的性能和扩展性，可以在DolphinScheduler中使用OceanBase数据库作为元数据库进行替换。节点数量和规模可以自由调整，实现无缝扩展和缩减。一.OceanBase数据库OceanBase数据库是阿里巴巴自主研发的分布式关系型数据库，具有以下特点：分布式架构：OceanBase采用分布式架构，可水平扩展，支持P

近日，ApacheDolphinScheduler发布了3.1.8版本。此版本主要基于3.1.7版本进行了bug修复，共计修复16个bug,1个doc,2个chore。其中修复了以下几个较为重要的问题：修复在构建SeaTunnel任务节点的参数时错误的判断条件修复SeaTunnel任务运行模式默认为运行，无法选择空值的问题在SQL/存储任务中使用单独连接带有sub_process任务的工作流在运行时无法停止修复State事件处理错误，收到未知异常，将用IndexOutOfBoundsException重试此事件修复资源中心上传文件超时的bug修复部分任务界面无法删除环境的问题全部Changel