草庐IT

kafkareader

全部标签

DataX二次开发——(6)kafkareader、kafkawriter的开发

参考博客:Datax二次开发插件详细过程_键盘上的艺术家w的博客-CSDN博客_dataxkafkareader简书-DataXkafkawriter 背景基于阿里开源DataX3.0版本,开发kafka的读写驱动,可以实现从mysql、postgresql抽取数据到kafka,从kafka消费消息写入hdfs等功能。1、整体模块代码结构1、kafkareader2、kafkawriter 3、package.xmlkafkareader/target/datax/**/*.*dataxkafkawriter/target/datax/**/*.*datax4、pom.xmlkafkaread

DataX二次开发——(6)kafkareader、kafkawriter的开发

参考博客:Datax二次开发插件详细过程_键盘上的艺术家w的博客-CSDN博客_dataxkafkareader简书-DataXkafkawriter 背景基于阿里开源DataX3.0版本,开发kafka的读写驱动,可以实现从mysql、postgresql抽取数据到kafka,从kafka消费消息写入hdfs等功能。1、整体模块代码结构1、kafkareader2、kafkawriter 3、package.xmlkafkareader/target/datax/**/*.*dataxkafkawriter/target/datax/**/*.*datax4、pom.xmlkafkaread