草庐IT

倒带ChunJun,同心前行|2022年度回顾&2023年共建规划

数栈DTinsight 2023-03-28 原文

ChunJun是一个开始于2018年的批流一体数据集成框架项目,原名FlinkX。2022年2月22日,在FlinkX进行初版开源的整整四年后,技术团队决定对FlinkX进行整体升级,并更名为ChunJun,希望为大家真正提供一个稳定、高效、易用的批流一体的数据集成框架

2022年的ChunJun茁壮成长,如今已经是一个由68多位贡献者协同开发、拥有3437个star的人气项目。

项目地址:https://github.com/DTStack/chunjun

ChunJun 项目进展

Star数:3437 Fork数:1556

Issue Closed:764 PR Cloesd:523

Contributors:68 Commits:5147

ChunJun 内容输出

视频课程:共计15课

涵盖直播课程、入门指南、解决方案等方方面面

精品文章:共计18篇

带你快速了解chunJun

技术社群:3898人

已成为大量开发者及大数据爱好者的交流学习平台

ChunJun 奖项荣誉

入选Gitee最有价值开源项目——GVP

2022 ChunJun大事记

送虎岁,迎兔年,值此除旧迎新之际,想和一直以来关注ChunJun开源社区的朋友聊聊这一年的进展:

2022年2月22日

沉淀了团队六年来在数据同步和集成方面的实践经验,技术团队决定对FlinkX进行整体升级,并更名为ChunJun。希望为大家真正提供一个稳定、高效、易用的批流一体的数据集成框架

2022年5月28日

ChunJun社区第一次会议,讨论当前第一个版本的roadmap规划,首次邀请社区小伙伴一起参与讨论。内容包括减少启动参数,让用户快速启动;增加 Docker 部分,用户直接下载Docker 镜像,开箱即用等。

2022年6月25日

开源小伙伴贡献的官网内容正式发布。

官网地址:https://dtstack.github.io/chunjun/

2022年7月9日

ChunJun社区第二次会议,讨论当前第二个版本的roadmap规划。

2022年9月18日

ChunJun社区第三次会议,讨论当前第三个版本的roadmap规划,调整 pr review & merge 规范和流程。

2022 ChunJun活动

2022年8月27日

联合OceanBase社区主办开源线下Meetup,发布基于Oceanbase 的离线插件和cdc 插件,并推出联合方案

2022年9月24日

参与Hadoop MeetUp,分享ChunJun在实时采集上的功能和新特性。

2022年10月29日

联合举办 COSCon'22 开源年会杭州分会场,分享袋鼠云三大组件 ChunJun、Taier、ChengYing 的配套使用构建。

2022 ChunJun精品课程

2022年4月27日

课程:ChunJun支持异构数据源DDL转换与自动执行

视频链接:https://sourl.cn/i9CzDP

2022年6月27日

课程:ChunJun数据还原-DDL功能模块解析

视频链接:https://sourl.cn/ffwtMc

2022年7月6日

课程:ChunJun同步Hive事务表

视频链接:https://sourl.cn/fbaWgD

2022年8月19日

课程:ChunJun数据传输模块介绍

视频链接:https://sourl.cn/iLY7vn

2022年9月22日

课程:ChunJun类加载原理与实现

视频链接:https://s.r.sn.cn/WCWURr

2022年12月9日

课程:ChunJun数据安全之Kerberos介绍

视频链接:https://s.r.sn.cn/Nix84z

2022 ChunJun研发进展

共发布七个版本:

V1.12.1

· 核心数据还原功能框架开发完成,增加了binlog/logminer 对 DDL 的监听处理;

· 丰富插件,添加Doris 插件;

· 添加ChunJun 对 Flink python udf 的支持;

· 稳定性提升,修复ChunJun 20+ bug。

V1.12.2

· 丰富插件, 添加 inceptor插件;

· 丰富插件,添加 influxdb插件;

· 代码优化,使用插件 spotless-plugins强制对代码风格进行检查;

· es 插件优化,支持 ssl模式;

· gbase 插件优化,支持 update模式;

· k8s 模式下添加对 application mode支持;

· 稳定性提升,修复ChunJun 10+ bug。

V1.12.3

· 丰富插件, 添加 starrocks插件;

· 增量同步支持 datetime类型;

· SQLserver cdc增加对数据类型 smallint的支持;

· 稳定性提升,修复ChunJun 10+ bug。

V1.12.4

· 丰富插件,添加 oceanbase插件;

· 数据还原功能加强,添加中间数据存储,避免数据丢失;

· 项目名称调整,从 FlinkX修改为 ChunJun;

· 插件优化,调整 inceptor插件的读取方式,从原来的 jdbc调整为直接读取文件;

· 插件优化,pg读取插件支持 Array类型;

· 增加对 protobuffer format的支持;

· 稳定性提升,修复ChunJun 20+ bug。

V1.12.5

· 数据同步 jdbc分片优化,添加对 range mode的支持,原先只支持 mod模式分片;

· 易用性提升,添加内置提交脚本,在不同模式下任务提交需要传入的参数,只需要传递 -job和 -confProp即可;

· ChunJun增加一个模块,准备用于发布安装包;

· 稳定性提升,修复ChunJun 15+ bug。

V1.12.6

· 优化 ChunJun数据同步的序列化方式;

· ChunJun 添加新的官网,方便社区同学了解阅读文档及技术方案;

· 丰富插件, 添加 rocketmq、sybase、s3、vertica11、iceberg插件及 redis读取插件;

· docker模式的支持,并添加执行脚本和文档;

· jdbc 插件增强,添加在执行前检查 dbconn;

· hbase 插件优化和重构,支持 transformer;

· ChunJun 工程支持E2E 功能;

· oracle 插件增强支持 nchar、nvarchar2 类型的中文存储;

· 稳定性提升,修复ChunJun 30+ bug。

V1.12.7

· 优化 jdbc base模块,添加对列信息的初始化功能

· 优化 ftp读取性能,添加对大文件切片的支持;

· hdfs 插件优化,支持 hadoop3.x 版本 orc读取;

· e2e 功能丰富,添加 ftp container;

· es7 插件优化,支持 type关键字;

· 稳定性提升,修复ChunJun 30+ bug。

2023年的ChunJun

ChunJun未来规划

· 依赖 Flink版本升级到1.16;

· ChunJun 提供Rest api 的server 服务,简化ChunJun 集成的难度;

· ChunJun 添加数据还原DDL支持Iceberg、Hudi。

兔年祝福

2022年,感谢 ChunJun社区小伙伴们的大力支持,ChunJun走的每一步都离不开你们的帮助,2023年,我们继续交流,一起进步。

也祝福大家在新的一年里兔飞猛进,快乐,幸福~?
想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=szbky

同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术qun」,交流最新开源技术信息,qun号码:30537511,项目地址:https://github.com/DTStack

有关倒带ChunJun,同心前行|2022年度回顾&2023年共建规划的更多相关文章

  1. ruby-on-rails - rails : "missing partial" when calling 'render' in RSpec test - 2

    我正在尝试测试是否存在表单。我是Rails新手。我的new.html.erb_spec.rb文件的内容是:require'spec_helper'describe"messages/new.html.erb"doit"shouldrendertheform"dorender'/messages/new.html.erb'reponse.shouldhave_form_putting_to(@message)with_submit_buttonendendView本身,new.html.erb,有代码:当我运行rspec时,它失败了:1)messages/new.html.erbshou

  2. ruby-on-rails - 由于 "wkhtmltopdf",PDFKIT 显然无法正常工作 - 2

    我在从html页面生成PDF时遇到问题。我正在使用PDFkit。在安装它的过程中,我注意到我需要wkhtmltopdf。所以我也安装了它。我做了PDFkit的文档所说的一切......现在我在尝试加载PDF时遇到了这个错误。这里是错误:commandfailed:"/usr/local/bin/wkhtmltopdf""--margin-right""0.75in""--page-size""Letter""--margin-top""0.75in""--margin-bottom""0.75in""--encoding""UTF-8""--margin-left""0.75in""-

  3. ruby-on-rails - 'compass watch' 是如何工作的/它是如何与 rails 一起使用的 - 2

    我在我的项目目录中完成了compasscreate.和compassinitrails。几个问题:我已将我的.sass文件放在public/stylesheets中。这是放置它们的正确位置吗?当我运行compasswatch时,它不会自动编译这些.sass文件。我必须手动指定文件:compasswatchpublic/stylesheets/myfile.sass等。如何让它自动运行?文件ie.css、print.css和screen.css已放在stylesheets/compiled。如何在编译后不让它们重新出现的情况下删除它们?我自己编译的.sass文件编译成compiled/t

  4. ruby-on-rails - 如何从 format.xml 中删除 <hash></hash> - 2

    我有一个对象has_many应呈现为xml的子对象。这不是问题。我的问题是我创建了一个Hash包含此数据,就像解析器需要它一样。但是rails自动将整个文件包含在.........我需要摆脱type="array"和我该如何处理?我没有在文档中找到任何内容。 最佳答案 我遇到了同样的问题;这是我的XML:我在用这个:entries.to_xml将散列数据转换为XML,但这会将条目的数据包装到中所以我修改了:entries.to_xml(root:"Contacts")但这仍然将转换后的XML包装在“联系人”中,将我的XML代码修改为

  5. ruby - 检查 "command"的输出应该包含 NilClass 的意外崩溃 - 2

    为了将Cucumber用于命令行脚本,我按照提供的说明安装了arubagem。它在我的Gemfile中,我可以验证是否安装了正确的版本并且我已经包含了require'aruba/cucumber'在'features/env.rb'中为了确保它能正常工作,我写了以下场景:@announceScenario:Testingcucumber/arubaGivenablankslateThentheoutputfrom"ls-la"shouldcontain"drw"假设事情应该失败。它确实失败了,但失败的原因是错误的:@announceScenario:Testingcucumber/ar

  6. ruby-on-rails - Rails 3.2.1 中 ActionMailer 中的未定义方法 'default_content_type=' - 2

    我在我的项目中添加了一个系统来重置用户密码并通过电子邮件将密码发送给他,以防他忘记密码。昨天它运行良好(当我实现它时)。当我今天尝试启动服务器时,出现以下错误。=>BootingWEBrick=>Rails3.2.1applicationstartingindevelopmentonhttp://0.0.0.0:3000=>Callwith-dtodetach=>Ctrl-CtoshutdownserverExiting/Users/vinayshenoy/.rvm/gems/ruby-1.9.3-p0/gems/actionmailer-3.2.1/lib/action_mailer

  7. ruby-on-rails - 如何优雅地重启 thin + nginx? - 2

    我的瘦服务器配置了nginx,我的ROR应用程序正在它们上运行。在我发布代码更新时运行thinrestart会给我的应用程序带来一些停机时间。我试图弄清楚如何优雅地重启正在运行的Thin实例,但找不到好的解决方案。有没有人能做到这一点? 最佳答案 #Restartjustthethinserverdescribedbythatconfigsudothin-C/etc/thin/mysite.ymlrestartNginx将继续运行并代理请求。如果您将Nginx设置为使用多个上游服务器,例如server{listen80;server

  8. ruby - 在 jRuby 中使用 'fork' 生成进程的替代方案? - 2

    在MRIRuby中我可以这样做:deftransferinternal_server=self.init_serverpid=forkdointernal_server.runend#Maketheserverprocessrunindependently.Process.detach(pid)internal_client=self.init_client#Dootherstuffwithconnectingtointernal_server...internal_client.post('somedata')ensure#KillserverProcess.kill('KILL',

  9. ruby - 主要 :Object when running build from sublime 的未定义方法 `require_relative' - 2

    我已经从我的命令行中获得了一切,所以我可以运行rubymyfile并且它可以正常工作。但是当我尝试从sublime中运行它时,我得到了undefinedmethod`require_relative'formain:Object有人知道我的sublime设置中缺少什么吗?我正在使用OSX并安装了rvm。 最佳答案 或者,您可以只使用“require”,它应该可以正常工作。我认为“require_relative”仅适用于ruby​​1.9+ 关于ruby-主要:Objectwhenrun

  10. ruby - 无法让 RSpec 工作—— 'require' : cannot load such file - 2

    我花了三天的时间用头撞墙,试图弄清楚为什么简单的“rake”不能通过我的规范文件。如果您遇到这种情况:任何文件夹路径中都不要有空格!。严重地。事实上,从现在开始,您命名的任何内容都没有空格。这是我的控制台输出:(在/Users/*****/Desktop/LearningRuby/learn_ruby)$rake/Users/*******/Desktop/LearningRuby/learn_ruby/00_hello/hello_spec.rb:116:in`require':cannotloadsuchfile--hello(LoadError) 最佳

随机推荐