草庐IT

【聊一聊FlinkX框架及其应用】

FlinkX是基于ApacheFlink的一个开源分布式数据同步工具,主要用于大规模、高效的数据迁移和数据同步。它由阿里巴巴团队开发并维护,是处理大数据场景中的数据集成任务的一个重要工具。以下是FlinkX的一些主要特点和功能:基于ApacheFlink:FlinkX是在ApacheFlink的基础上开发的,因此继承了Flink的所有优点,包括高吞吐量、低延迟和高可用性。数据迁移和同步:FlinkX主要用于数据迁移和同步任务,支持从一个数据源向另一个数据源传输数据。它支持多种数据源和目标系统,如MySQL,PostgreSQL,Kafka,HDFS等。分布式处理:作为一个分布式工具,Flink

Flinkx/Datax/Flink-CDC 优劣势对比

Flinkx/Datax/Flink-CDC优劣势对比_HiBoyljw的博客-CSDN博客一、FlinkX简介(已改名为chunjun)    FlinkX是一款基于Flink的分布式离线/实时数据同步插件,可实现多种异构数据源高效的数据同步,其由袋鼠云于2016年初步研发完成,目前有稳定的研发团队持续维护,已在Github上开源(开源地址详见文章末尾),并维护该开源社区。目前已完成批流统一,离线计算与流计算的数据同步任务都可基于FlinkX实现。    FlinkX是一个基于Flink的批流统一的数据同步工具,既可以采集静态的数据,比如MySQL,HDFS等,也可以采集实时变化的数据,比如

chunjun(flinkx) 数据同步工具浅尝

chunjun是一款基于flink的数据同步工具,支持多种数据源的source和sink。有四种方式,local方式、standalone、yarnsession、yarnpre-job。详情官网链接:QuickStart|ChunJun纯钧    由于flinkx更改了名字和打包脚本,但是官网文档并没有全部更新完整,阅读起来会有点困难;这里简单整理下,方便以后使用。   推荐官网的阅读顺序:   1. QuickStart|ChunJun纯钧 本章节为快速入门,介绍了四种提交任务的方式,但命令是过时的不能用;   2. ChunJun通用配置详解|ChunJun纯钧     3. Conne

chunjun(flinkx) 数据同步工具浅尝

chunjun是一款基于flink的数据同步工具,支持多种数据源的source和sink。有四种方式,local方式、standalone、yarnsession、yarnpre-job。详情官网链接:QuickStart|ChunJun纯钧    由于flinkx更改了名字和打包脚本,但是官网文档并没有全部更新完整,阅读起来会有点困难;这里简单整理下,方便以后使用。   推荐官网的阅读顺序:   1. QuickStart|ChunJun纯钧 本章节为快速入门,介绍了四种提交任务的方式,但命令是过时的不能用;   2. ChunJun通用配置详解|ChunJun纯钧     3. Conne

开源共建 | 中国移动冯江涛:ChunJun(原FlinkX)在数据入湖中的应用

ChunJun(原FlinkX)是一个基于Flink提供易用、稳定、高效的批流统一的数据集成工具。2018年4月,秉承着开源共享的理念,数栈技术团队在github上开源了FlinkX,承蒙各位开发者的合作共建,FlinkX得到了快速发展。两年后的2022年4月,技术团队决定对FlinkX进行整体升级,并更名为ChunJun,希望继续和各位优秀开发者合作,进一步推动数据集成/同步的技术发展。因该文创作于于FlinkX更名为ChunJun之前,因此文中仍用FlinkX来进行分享,重要的事情说三遍:FlinkX即是ChunJunFlinkX即是ChunJunFlinkX即是ChunJun进入正文分享

开源共建 | 中国移动冯江涛:ChunJun(原FlinkX)在数据入湖中的应用

ChunJun(原FlinkX)是一个基于Flink提供易用、稳定、高效的批流统一的数据集成工具。2018年4月,秉承着开源共享的理念,数栈技术团队在github上开源了FlinkX,承蒙各位开发者的合作共建,FlinkX得到了快速发展。两年后的2022年4月,技术团队决定对FlinkX进行整体升级,并更名为ChunJun,希望继续和各位优秀开发者合作,进一步推动数据集成/同步的技术发展。因该文创作于于FlinkX更名为ChunJun之前,因此文中仍用FlinkX来进行分享,重要的事情说三遍:FlinkX即是ChunJunFlinkX即是ChunJunFlinkX即是ChunJun进入正文分享