草庐IT

ChunJun 1.16 Release版本即将发布,bug 捉虫活动邀您参与!

数栈DTinsight 2023-03-28 原文

亲爱的社区小伙伴们,历时数月,我们很高兴地宣布,ChunJun 即将迎来 1.16 Release 版本的正式发布。在新版本中,ChunJun 新增了一批常用功能,进行了多项功能优化和问题修复,并在用户使用体验上进行了极大地改善。有17位Contributor 为 ChunJun 提交了多项优化和修复,感谢因为有你们才让 ChunJun 变得更好!

ChunJun 1.16 版本目前已经发布到master,需要试跑一个月再发布 release 版本。在 1.16 版本中,我们整理了项目 maven 依赖,优化了 FTP、JDBC 插件,增加了 Iceberg、Nebula 插件,对 ChunJun 的易用性、稳定性、高效性等各个方面进行了全面加强,欢迎大家使用体验。

体验地址

Github:

https://github.com/DTStack/chunjun

Gitee:

https://gitee.com/dtstack_dev_0/chunjun

社区官网:

https://dtstack.github.io/chunjun/

ChunJun 1.16 版本

重要更新

· 框架整体依赖的 Flink 版本升级至 1.16.1,维表插件依赖原生接口,在使用层面更加统一。

· 细化 github ci/cd 的 work flow 流程,保证开源版本代码质量。

· 整理项目 maven 依赖,减少类冲突的可能,同时使项目依赖更加清晰。

· 优化 FTP 插件,提升 FTP 同步性能。

· 优化 JDBC 插件,提升 JDBC 同步性能。

· HBase 插件增加 TTL 超时时间。

· 增加 Iceberg 写入插件。

· 增加 Nebula 插件,支持读取、写入、维表功能。

· HTTP 插件支持 data 数组。

· SQL 支持运行 Batch 模式。

问题修复

· 修复 client 端提交 k8s 任务时的异常。

· 修复维表在找不到数据时直接抛出异常的情况。

· 修复在 windows 环境下打包时,sh 脚本中换行为 \r,会导致在 linux 下运行示例脚本时异常。

· 修复 HBase 插件在类型转化为 INT 时的异常。

· 修复 Flink CDC 在 SQL 模式下的运行异常。

· 修复 Orc 文件无法读取 Timestamp 字段的异常情况。

· 修复 Mongodb 常量异常。

捉虫活动 · 找 bug

ChunJun 1.16 发布到 master 以来,社区小伙伴陆陆续续提出了一些相关的问题。由于升级初期测试验证的场景覆盖不全,需要更多人的力量一起来帮忙验证,发现和修复问题,同时1.12 上也仍然存在一些常见的使用问题。

因此 ChunJun 社区决定广发英雄帖,邀请各路捉虫达人,一起帮助 ChunJun 在稳定性上更上一层楼。我们也将送出智能音箱、星巴克礼品卡、蓝牙耳机等多项好礼作为报答。

活动报名

将你使用 ChunJun 过程中遇到的 bug 提交到以下地址,提交的 issuse 和 pr 符合社区规范,且被验证确认即可获得丰厚奖励。

到 ChunJun 提交 issuse:

https://github.com/DTStack/chunjun/issues

到 ChunJun 提交 Pr:

https://github.com/DTStack/chunjun/pulls

活动规范

issue 不强制要求中英文,但是 Pr commit 强制要求为英文。

issue 规范:

· 问题描述清晰准确,上下文详细,包含具体的版本号/分支、提交参数、任务模式等,如果可以,请带上具体的任务脚本;

· 异常信息及堆栈信息完整;

· 包含详细清晰的复现步骤。

Pr 规范:
· Pr 内描述清楚设计思路及解决了什么问题,如果有必要,请开一个 issue 将问题描述清楚;
· Commit 信息完整且清晰,且为英文;
· 新增方法、修改方法需要尽可能补充单测;
· 新增插件需要补充文档,使用案例,尽可能补充 e2e 测试。

活动范围&时间

活动范围:

ChunJun 1.12 以及之后版本(包含即将发布的 1.16)

活动时间:

2023年3月1日-2023年3月31日

活动积分

本次捉虫活动采用积分赛制,bug 提交人将获得不同的积分。

提交一个issuse:5积分

提交一个pr:15~30积分(以5分为一档,以影响范围、完整性及复杂度三个维度进行评判)

活动礼品

本次活动获得 bug 积分可用来兑换精美礼品。

• 盲盒 * 1个:20个积分

• 水杯 * 1个:30个积分

• 三合一数据线 * 1个:40个积分

• 蓝牙耳机 * 1个:60个积分

• 星巴克礼品卡 * 1张:80个积分

• 智能音箱 * 1个:120个积分

注:ChunJun 社区对本次活动有最终解释权

特别鸣谢

感谢对本次版本发布提供支持和帮助的社区朋友们,正是因为有你们的贡献,才有 ChunJun 1.16 版本的问世,再次对你们表达最真诚的谢意。

以下为参与本次版本发布的人员名单,他们分别是(首字母排序):

想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=szbky

同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术qun」,交流最新开源技术信息,qun号码:30537511,项目地址:https://github.com/DTStack

有关ChunJun 1.16 Release版本即将发布,bug 捉虫活动邀您参与!的更多相关文章

  1. ruby-on-rails - 项目升级后 Pow 不会更改 ruby​​ 版本 - 2

    我在我的Rails项目中使用Pow和powifygem。现在我尝试升级我的ruby​​版本(从1.9.3到2.0.0,我使用RVM)当我切换ruby​​版本、安装所有gem依赖项时,我通过运行railss并访问localhost:3000确保该应用程序正常运行以前,我通过使用pow访问http://my_app.dev来浏览我的应用程序。升级后,由于错误Bundler::RubyVersionMismatch:YourRubyversionis1.9.3,butyourGemfilespecified2.0.0,此url不起作用我尝试过的:重新创建pow应用程序重启pow服务器更新战俘

  2. ruby-on-rails - 在 ruby​​ .gemspec 文件中,如何指定依赖项的多个版本? - 2

    我正在尝试修改当前依赖于定义为activeresource的gem:s.add_dependency"activeresource","~>3.0"为了让gem与Rails4一起工作,我需要扩展依赖关系以与activeresource的版本3或4一起工作。我不想简单地添加以下内容,因为它可能会在以后引起问题:s.add_dependency"activeresource",">=3.0"有没有办法指定可接受版本的列表?~>3.0还是~>4.0? 最佳答案 根据thedocumentation,如果你想要3到4之间的所有版本,你可以这

  3. ruby-on-rails - 如果我将 ruby​​ 版本 2.5.1 与 rails 版本 2.3.18 一起使用会怎样? - 2

    如果我使用ruby​​版本2.5.1和Rails版本2.3.18会怎样?我有基于rails2.3.18和ruby​​1.9.2p320构建的rails应用程序,我只想升级ruby的版本,而不是rails,这可能吗?我必须面对哪些挑战? 最佳答案 GitHub维护apublicfork它有针对旧Rails版本的分支,有各种变化,它们一直在运行。有一段时间,他们在较新的Ruby版本上运行较旧的Rails版本,而不是最初支持的版本,因此您可能会发现一些关于需要向后移植的有用提示。不过,他们现在已经有几年没有使用2.3了,所以充其量只能让更

  4. ruby-on-rails - 获取 inf-ruby 以使用 ruby​​ 版本管理器 (rvm) - 2

    我安装了ruby​​版本管理器,并将RVM安装的ruby​​实现设置为默认值,这样'哪个ruby'显示'~/.rvm/ruby-1.8.6-p383/bin/ruby'但是当我在emacs中打开inf-ruby缓冲区时,它使用安装在/usr/bin中的ruby​​。有没有办法让emacs像shell一样尊重ruby​​的路径?谢谢! 最佳答案 我创建了一个emacs扩展来将rvm集成到emacs中。如果您有兴趣,可以在这里获取:http://github.com/senny/rvm.el

  5. 世界前沿3D开发引擎HOOPS全面讲解——集3D数据读取、3D图形渲染、3D数据发布于一体的全新3D应用开发工具 - 2

    无论您是想搭建桌面端、WEB端或者移动端APP应用,HOOPSPlatform组件都可以为您提供弹性的3D集成架构,同时,由工业领域3D技术专家组成的HOOPS技术团队也能为您提供技术支持服务。如果您的客户期望有一种在多个平台(桌面/WEB/APP,而且某些客户端是“瘦”客户端)快速、方便地将数据接入到3D应用系统的解决方案,并且当访问数据时,在各个平台上的性能和用户体验保持一致,HOOPSPlatform将帮助您完成。利用HOOPSPlatform,您可以开发在任何环境下的3D基础应用架构。HOOPSPlatform可以帮您打造3D创新型产品,HOOPSSDK包含的技术有:快速且准确的CAD

  6. ruby-on-rails - 如何在发布新的 Ruby 或 Rails 版本时收到通知? - 2

    有人知道在发布新版本的Ruby和Rails时收到电子邮件的方法吗?他们有邮件列表,RubyonRails有一个推特,但我不想听到那些随之而来的喧嚣,我只想知道什么时候发布新版本,尤其是那些有安全修复的版本。 最佳答案 从therailsblog获取提要.http://weblog.rubyonrails.org/feed/atom.xml 关于ruby-on-rails-如何在发布新的Ruby或Rails版本时收到通知?,我们在StackOverflow上找到一个类似的问题:

  7. 【鸿蒙应用开发系列】- 获取系统设备信息以及版本API兼容调用方式 - 2

    在应用开发中,有时候我们需要获取系统的设备信息,用于数据上报和行为分析。那在鸿蒙系统中,我们应该怎么去获取设备的系统信息呢,比如说获取手机的系统版本号、手机的制造商、手机型号等数据。1、获取方式这里分为两种情况,一种是设备信息的获取,一种是系统信息的获取。1.1、获取设备信息获取设备信息,鸿蒙的SDK包为我们提供了DeviceInfo类,通过该类的一些静态方法,可以获取设备信息,DeviceInfo类的包路径为:ohos.system.DeviceInfo.具体的方法如下:ModifierandTypeMethodDescriptionstatic StringgetAbiList​()Obt

  8. 在VMware16虚拟机安装Ubuntu详细教程 - 2

    在VMware16.2.4安装Ubuntu一、安装VMware1.打开VMwareWorkstationPro官网,点击即可进入。2.进入后向下滑动找到Workstation16ProforWindows,点击立即下载。3.下载完成,文件大小615MB,如下图:4.鼠标右击,以管理员身份运行。5.点击下一步6.勾选条款,点击下一步7.先勾选,再点击下一步8.去掉勾选,点击下一步9.点击下一步10.点击安装11.点击许可证12.在百度上搜索VM16许可证,复制填入,然后点击输入即可,亲测有效。13.点击完成14.重启系统,点击是15.双击VMwareWorkstationPro图标,进入虚拟机主

  9. ruby-on-rails - 安装多个版本的 Rails 会覆盖以前的安装吗? - 2

    如果我一直输入geminstallrails使用不同版本的Rails会怎样?例如,我可以输入:geminstallrails--verson3.2.10或geminstallrails这给了我版本3.2.12。问题每次安装都会覆盖之前的吗?它会删除所有旧文件并添加我正在安装的新版本吗?或者如果我运行它两次,它会保留一些文件吗?我正在使用Ubuntu。 最佳答案 它将安装两个独立的gem。实际的可执行文件rails将调用最新版本。你可以覆盖它__例如,rails_3.2.10_将执行Rails3.2.10。bundler顺便说一下,如

  10. ruby - 在 Rails 项目中测试本地版本的 gem - 2

    我的Rails站点使用了一个确实不是很好的gem。每次我需要做一些新的事情时,我最终不得不花费与向实际Rails项目添加代码一样多的时间来为gem添加功能。但我不介意,我将我的Gemfile设置为指向我的gem的GitHub分支(我尝试提交PR,但维护者似乎已经下台)。问题是我真的没有找到一种合理的方法来测试我添加到gem的新东西。在railsc中测试它会特别好,但我能想到的唯一方法是a)更改~/.rvm/gems/.../foo。rb,这看起来不对或者b)升级版本,推送到Github,然后运行​​bundleup,这除了耗时之外显然是一场灾难,因为我不确定我所做的promise是否正

随机推荐