目录一、概述1）什么是任务调度？2）常见任务调度工具3）什么是Azkaban二、Azkaban与Oozie对比三、Azkaban运行模式及架构1）AzkabanWebServer2）AzkabanExecutorServer3）关系型元数据库（MySQL）四、Azkaban安装部署1）soloservermode安装1、下载2、构建Azkaban安装包3、启动服务4、web访问验证5、配置https并重启服务2）multipleexecutormode安装（推荐）1、把编译好的包copy到其它目录2、安装mysql3、初始化azkaban表4、安装AzkabanExecutorServer（h

目录一、概述1）什么是任务调度？2）常见任务调度工具3）什么是Azkaban二、Azkaban与Oozie对比三、Azkaban运行模式及架构1）AzkabanWebServer2）AzkabanExecutorServer3）关系型元数据库（MySQL）四、Azkaban安装部署1）soloservermode安装1、下载2、构建Azkaban安装包3、启动服务4、web访问验证5、配置https并重启服务2）multipleexecutormode安装（推荐）1、把编译好的包copy到其它目录2、安装mysql3、初始化azkaban表4、安装AzkabanExecutorServer（h

目录一、AzkabanAPI概述二、AzkabanAPI具体使用1）Authenticate（登录认证）2）FetchuserProjects（获取项目列表）3）CreateaProject（创建一个项目）4）DeleteaProject（删除一个项目）5）UploadaProjectZip（上传项目zip文件）6）FetchFlowsofaProject（获取项目的所有工作流flowId）7）FetchJobsofaFlow（获取一个工作流的详情）8）FetchExecutionsofaFlow（获取工作流的执行列表）9）FetchRunningExecutionsofaFlow（获取正在执

目录一、AzkabanAPI概述二、AzkabanAPI具体使用1）Authenticate（登录认证）2）FetchuserProjects（获取项目列表）3）CreateaProject（创建一个项目）4）DeleteaProject（删除一个项目）5）UploadaProjectZip（上传项目zip文件）6）FetchFlowsofaProject（获取项目的所有工作流flowId）7）FetchJobsofaFlow（获取一个工作流的详情）8）FetchExecutionsofaFlow（获取工作流的执行列表）9）FetchRunningExecutionsofaFlow（获取正在执

一、Azkaban概述1、任务时序在数据服务的业务场景中，很常见的业务流程就是日志文件经过大数据分析，再向业务输出结果数据；在该过程中会有很多任务需要执行，并且很难精准把握任务执行的结束时间，但是又希望整个任务链尽快结束释放资源。大致执行顺序如下：业务日志文件同步到HDFS文件系统；经过Hadoop执行分析计算过程；结果数据在导入数仓进行存储；最终需要把数仓内数据同步到业务库；这样的流程不必业务中任务调度，时间基本是可预估的，只要把握留足任务间隔时间即可，大数据的任务链路通常需要一个结束直接启动另一个，以此降低时间成本，初入数据服务公司时，就发生过因为同步任务执行结束但是最后的个别CSV数据文

一、Azkaban概述1、任务时序在数据服务的业务场景中，很常见的业务流程就是日志文件经过大数据分析，再向业务输出结果数据；在该过程中会有很多任务需要执行，并且很难精准把握任务执行的结束时间，但是又希望整个任务链尽快结束释放资源。大致执行顺序如下：业务日志文件同步到HDFS文件系统；经过Hadoop执行分析计算过程；结果数据在导入数仓进行存储；最终需要把数仓内数据同步到业务库；这样的流程不必业务中任务调度，时间基本是可预估的，只要把握留足任务间隔时间即可，大数据的任务链路通常需要一个结束直接启动另一个，以此降低时间成本，初入数据服务公司时，就发生过因为同步任务执行结束但是最后的个别CSV数据文