目录ETL系统核心特征数据重跑及其优化重跑的场景重跑的方式重跑的优化自动水平扩展参考链接ETL系统核心特征数据重跑及其优化重跑的场景场景导致原因影响kafkaconsumerpoll消息失败1.网络问题；2.kafkabroker磁盘坏道，拉取消息一直失败或其他kafka原因导致一个或多个topic&partition的消息未消费完整硬件故障，机器重启磁盘满、硬件故障等机器宕机、重启、yarn内部机制会重新在另外一个nodeManager节点重新分配宕机节点的mappertask，可能会造成数据重复taskkilled1.yarn主动killedtask:①，mapper初始化某个逻辑卡住，导

更关键的是，数据来源的业务系统也是在不断地更新维护中的，任何一个变更都会对下游的数据分析程序产生巨大的影响。因此，有了ETL过程作为一个缓冲区，当上游的业务系统变更时，只需要对ETL过程进行相应变更，下游的数据分析就能够比较稳定，从而降低系统维护成本。ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。1、数据清洗首先进行数据清洗，对原始数据中的错误予以纠正，或者对缺失数据进行补填。譬如，现在要建设一个增值税发票的数据中台。这时，系统从许多不同的来源采集与增值税发票相关的

更关键的是，数据来源的业务系统也是在不断地更新维护中的，任何一个变更都会对下游的数据分析程序产生巨大的影响。因此，有了ETL过程作为一个缓冲区，当上游的业务系统变更时，只需要对ETL过程进行相应变更，下游的数据分析就能够比较稳定，从而降低系统维护成本。ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。1、数据清洗首先进行数据清洗，对原始数据中的错误予以纠正，或者对缺失数据进行补填。譬如，现在要建设一个增值税发票的数据中台。这时，系统从许多不同的来源采集与增值税发票相关的

在遇到跨库或者异库数据同步时，我们一般都会借助ETL工具来实现数据同步功能。比如目前大家较为熟知的Kettle和Datax。但是，这两个需要定时去查询数据库的数据，会存在一定的延迟，而且，默认采用全量同步的方式，想要增量，需要自己做特殊的处理。那么，有没有开源的工具，既能满足全量和增量，又能达到相对比较实时的呢？接下来，我们继续往下看。Kettle在ETL行列中，kettle算是人气比较旺的一款工具，功能多且强大，开源，可视化。使用方便、简洁，但是，体量越来越大，性能一般。可以自己下载源码编译，要求Maven3+、JavaJDK11。​​https://github.com/pentaho/p

在遇到跨库或者异库数据同步时，我们一般都会借助ETL工具来实现数据同步功能。比如目前大家较为熟知的Kettle和Datax。但是，这两个需要定时去查询数据库的数据，会存在一定的延迟，而且，默认采用全量同步的方式，想要增量，需要自己做特殊的处理。那么，有没有开源的工具，既能满足全量和增量，又能达到相对比较实时的呢？接下来，我们继续往下看。Kettle在ETL行列中，kettle算是人气比较旺的一款工具，功能多且强大，开源，可视化。使用方便、简洁，但是，体量越来越大，性能一般。可以自己下载源码编译，要求Maven3+、JavaJDK11。​​https://github.com/pentaho/p

互斥表示两个不同作业不能同时运行。作业互斥通过作业ostr属性实现。例如：在上图中，两个作业GetData1与GetData3按串并关系，本来是可以同时运行的作业，但由于通过ostr属性设置相同互斥资源，从而使它们实现互斥并不能同时运行。关于互斥资源的设置，主要通过一个自定义字符串来表示，只要名称相同，就表示相关作业互斥。作业之间的互斥不仅在相同模块中实现，也可以在不同模块甚至不同流程之间体现，只要资源名称相同即可。实际上，在具体应用中，同一流程中距离相近的作业一般不会设置互斥，因为完全可以通过简单串并进行避免两个作业的同时运行，互斥更多的实际应用场景是在不同流程的作业之间实现互斥，这种距离遥

互斥表示两个不同作业不能同时运行。作业互斥通过作业ostr属性实现。例如：在上图中，两个作业GetData1与GetData3按串并关系，本来是可以同时运行的作业，但由于通过ostr属性设置相同互斥资源，从而使它们实现互斥并不能同时运行。关于互斥资源的设置，主要通过一个自定义字符串来表示，只要名称相同，就表示相关作业互斥。作业之间的互斥不仅在相同模块中实现，也可以在不同模块甚至不同流程之间体现，只要资源名称相同即可。实际上，在具体应用中，同一流程中距离相近的作业一般不会设置互斥，因为完全可以通过简单串并进行避免两个作业的同时运行，互斥更多的实际应用场景是在不同流程的作业之间实现互斥，这种距离遥

原创公众号文章《EasySql让ETL开发变轻松》-作者：阳沁珂ETL任务的搭建是数据型项目的必要，但是在搭建ETL任务时，你是否有过这样的烦恼？多种数据库平台连接，使得连接的管理变得混乱，更改数据库连接方式的时候需要改大量散步各处的代码。SQL的代码整洁度不够，在不同的SQL文件中存在大量的重复语句。SQL能做的处理有限，大部分时候对于数据还需要衔接额外的处理，使得整个ETL流程不清晰。没有log和debug的工具公司自主研发的开源代码EasySQL(https://github.com/easysql/easy_sql)使用python搭建了一套工具系统，使得上述问题能被轻松解决。下面就这

原创公众号文章《EasySql让ETL开发变轻松》-作者：阳沁珂ETL任务的搭建是数据型项目的必要，但是在搭建ETL任务时，你是否有过这样的烦恼？多种数据库平台连接，使得连接的管理变得混乱，更改数据库连接方式的时候需要改大量散步各处的代码。SQL的代码整洁度不够，在不同的SQL文件中存在大量的重复语句。SQL能做的处理有限，大部分时候对于数据还需要衔接额外的处理，使得整个ETL流程不清晰。没有log和debug的工具公司自主研发的开源代码EasySQL(https://github.com/easysql/easy_sql)使用python搭建了一套工具系统，使得上述问题能被轻松解决。下面就这

一.概述ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。kettle,最受欢迎的ETL工具之一,本文将从安转到简单使用过一遍二.kettle安转2.1环境准备jdk8下载地址image.pngkettle下载地址image.png2.2配置修改1.下载kettle后解压进入文件夹/data-integrationimage.pngspoon.sh:macos/linux的启动脚本Spoon.bat:win系统启动脚本2.mac系统修改文件spoon.sh,配置启动脚本