草庐IT

开源项目丨 Taier 1.1 版本正式发布，新增功能一览为快

袋鼠云数栈 2023-09-21 原文
640.jpg

2022 年 5 月 8 日，Taier 1.1 版本正式发布！

本次版本更新对 Flink 的支持升级到** Flink1.12，支持多种流类型**任务，新版本的使用文档已在社区中推送，大家可以随时下载查阅。

github 地址：

https://github.com/DTStack/Taier

gitee 地址：

https://gitee.com/dtstack_dev_0/taier

Taier 1.1 版本介绍

Taier 是一个分布式可视化的 DAG 任务调度系统，是数栈数据中台整体架构的重要枢纽，负责调度日常庞大的任务量。

它旨在降低 ETL 开发成本，提高大数据平台稳定性，让大数据开发人员可以在 Taier 直接进行业务逻辑的开发，而不用关心任务错综复杂的依赖关系与底层的大数据平台的架构实现，将工作的重心更多地聚焦在业务之中。

Taier1.0 版本于 2022 年 2 月发布，在 1.0 版本发布的第二天，1.1 版本的迭代就已提上日程，并于昨日正式发布。

本次版本更新，着重解决了 Taier 的适配性问题：对 Flink 的支持升级到 1.12；Taier 中的 Spark SQL 和 Flink SQL 两个组件也实现了支持用户在任务中自定义函数，明显让 Taier 的延展性有了更好的发挥；新增了许多例如 Hive SQL 类型任务、实时任务运维等强大功能。

这次版本更新对 Taier 的固有优势进行了巩固，同时也强化并改善了用户体验，进一步精细化提升产品性能。

Taier 1.1 功能详解

01**** 对 Flink 版本支持升级到 1.12

Taier 作为一个分布式可视化的 DAG 任务调度系统，采用 ChunJun 作为分布式数据同步工具。1.1 版本将 Flink 版本升级到 1.12 ，支持 ChunJun 1.12 版本中新增的 transformer 算子等以及所有 Flink 原生语法及 Function

02 ****数据同步支持脚本模式、增量同步

数据同步任务除向导模式外，1.1 版本新增数据同步脚本模式。脚本模式通过 json 的方式配置，无需依赖 datasourcex 的支持的数据源，直接通过 json 配置的方式提交任务，脚本模式的 json 格式无缝兼容 ChunJun 的数据格式，用户可以通过脚本模式调试各类数据源的数据同步。

图片 10.png

03 ****新增 Hive SQL

Apache Hive 是一个构建于 Hadoop 顶层的数据仓库，可以将结构化的数据文件映射为一张数据库表，并提供简单的 SQL 查询功能，可以将 SQL 语句转换为 MapReduce 任务进行运行。Taier1.1 版本新增 Hive SQL ，支持对接 Hive 的不同版本 。


图片 9.png

04 ****新增多种实时类型任务

新增实时采集任务，支持将 MySQL、Oracle 的数据同步至 Kafka。

图片 8.png

新增 Flink SQL 任务，通过标准 SQL 语义的开发帮助快速完成数据任务的配置工作。

图片 7.png

05 ****新增实时任务运维

可通过实时运维中心查看实时任务的相关指标信息以及任务的详细日志信息。


图片 6.png

06 ****支持用户自定义函数

用户自定义函数（User Defined Function，简称 UDF），是用户除了使用系统函数外，自行创建的函数，用于满足个性化的计算需求。自定义函数在使用上与普通的系统函数类似。

目前 Taier1.1 版本 Spark SQL 和 Flink SQL 任务均支持自定义函数。

07 ****全新暗黑主题上线

Taier 开发界面暗黑主题上线，提供多种主题切换，用户可自行选择。Taier 1.1 可支持用户自由选择 Dark Default 主题或 Light Default 主题等等界面风格，用户体验显著提升。

640.gif

未来规划

Taier 作为一个新开源的项目，我们的迭代和更新一直在进行中，后续 Taier 将在扩展性、用户自主性方向上继续探索扩展，比如我们正在努力让用户可以基于 Taier 去自定义开发自己需要的类型任务等等。

Taier 的每一次进步都离不开社区开发者们的帮助和建议，希望大家保持关注，和 Taier 一起继续前进，不断攀登新高峰！

一览Taiersectionstrong

有关开源项目丨 Taier 1.1 版本正式发布，新增功能一览为快的更多相关文章

  1. ruby - 如何在 buildr 项目中使用 Ruby 代码？ - 2

    如何在buildr项目中使用Ruby？我在很多不同的项目中使用过Ruby、JRuby、Java和Clojure。我目前正在使用我的标准Ruby开发一个模拟应用程序，我想尝试使用Clojure后端(我确实喜欢功能代码)以及JRubygui和测试套件。我还可以看到在未来的不同项目中使用Scala作为后端。我想我要为我的项目尝试一下buildr(http://buildr.apache.org/)，但我注意到buildr似乎没有设置为在项目中使用JRuby代码本身!这看起来有点傻，因为该工具旨在统一通用的JVM语言并且是在ruby中构建的。除了将输出的jar包含在一个独特的、仅限ruby​​

  2. ruby-on-rails - 项目升级后 Pow 不会更改 ruby​​ 版本 - 2

    我在我的Rails项目中使用Pow和powifygem。现在我尝试升级我的ruby​​版本(从1.9.3到2.0.0，我使用RVM)当我切换ruby​​版本、安装所有gem依赖项时，我通过运行railss并访问localhost:3000确保该应用程序正常运行以前，我通过使用pow访问http://my_app.dev来浏览我的应用程序。升级后，由于错误Bundler::RubyVersionMismatch:YourRubyversionis1.9.3,butyourGemfilespecified2.0.0，此url不起作用我尝试过的:重新创建pow应用程序重启pow服务器更新战俘

  3. ruby-on-rails - 新 Rails 项目 : 'bundle install' can't install rails in gemfile - 2

    我已经像这样安装了一个新的Rails项目:$railsnewsite它执行并到达:bundleinstall但是当它似乎尝试安装依赖项时我得到了这个错误Gem::Ext::BuildError:ERROR:Failedtobuildgemnativeextension./System/Library/Frameworks/Ruby.framework/Versions/2.0/usr/bin/rubyextconf.rbcheckingforlibkern/OSAtomic.h...yescreatingMakefilemake"DESTDIR="cleanmake"DESTDIR="

  4. ruby-on-rails - 在 ruby​​ .gemspec 文件中，如何指定依赖项的多个版本？ - 2

    我正在尝试修改当前依赖于定义为activeresource的gem:s.add_dependency"activeresource","~>3.0"为了让gem与Rails4一起工作，我需要扩展依赖关系以与activeresource的版本3或4一起工作。我不想简单地添加以下内容，因为它可能会在以后引起问题:s.add_dependency"activeresource",">=3.0"有没有办法指定可接受版本的列表？~>3.0还是~>4.0？ 最佳答案 根据thedocumentation,如果你想要3到4之间的所有版本，你可以这

  5. ruby-on-rails - 如果我将 ruby​​ 版本 2.5.1 与 rails 版本 2.3.18 一起使用会怎样？ - 2

    如果我使用ruby​​版本2.5.1和Rails版本2.3.18会怎样？我有基于rails2.3.18和ruby​​1.9.2p320构建的rails应用程序，我只想升级ruby的版本，而不是rails，这可能吗？我必须面对哪些挑战？ 最佳答案 GitHub维护apublicfork它有针对旧Rails版本的分支，有各种变化，它们一直在运行。有一段时间，他们在较新的Ruby版本上运行较旧的Rails版本，而不是最初支持的版本，因此您可能会发现一些关于需要向后移植的有用提示。不过，他们现在已经有几年没有使用2.3了，所以充其量只能让更

  6. ruby-on-rails - 获取 inf-ruby 以使用 ruby​​ 版本管理器 (rvm) - 2

    我安装了ruby​​版本管理器，并将RVM安装的ruby​​实现设置为默认值，这样'哪个ruby'显示'~/.rvm/ruby-1.8.6-p383/bin/ruby'但是当我在emacs中打开inf-ruby缓冲区时，它使用安装在/usr/bin中的ruby​​。有没有办法让emacs像shell一样尊重ruby​​的路径？谢谢! 最佳答案 我创建了一个emacs扩展来将rvm集成到emacs中。如果您有兴趣，可以在这里获取:http://github.com/senny/rvm.el

  7. Ruby 从大范围中获取第 n 个项目 - 2

    假设我有这个范围:("aaaaa".."zzzzz")如何在不事先/每次生成整个项目的情况下从范围中获取第N个项目？ 最佳答案 一种快速简便的方法:("aaaaa".."zzzzz").first(42).last#==>"aaabp"如果出于某种原因你不得不一遍又一遍地这样做，或者如果你需要避免为前N个元素构建中间数组，你可以这样写:moduleEnumerabledefskip(n)returnto_enum:skip,nunlessblock_given?each_with_indexdo|item,index|yieldit

  8. ruby-on-rails - Cucumber 是否只是 rspec 的包装器以帮助将测试组织成功能？ - 2

    只是想确保我理解了事情。据我目前收集到的信息，Cucumber只是一个“包装器”，或者是一种通过将事物分类为功能和步骤来组织测试的好方法，其中实际的单元测试处于步骤阶段。它允许您根据事物的工作方式组织您的测试。对吗？ 最佳答案 有点。它是一种组织测试的方式，但不仅如此。它的行为就像最初的Rails集成测试一样，但更易于使用。这里最大的好处是您的session在整个Scenario中保持透明。关于Cucumber的另一件事是您(应该)从使用您的代码的浏览器或客户端的角度进行测试。如果您愿意，您可以使用步骤来构建对象和设置状态，但通常您

  9. 世界前沿3D开发引擎HOOPS全面讲解——集3D数据读取、3D图形渲染、3D数据发布于一体的全新3D应用开发工具 - 2

    无论您是想搭建桌面端、WEB端或者移动端APP应用，HOOPSPlatform组件都可以为您提供弹性的3D集成架构，同时，由工业领域3D技术专家组成的HOOPS技术团队也能为您提供技术支持服务。如果您的客户期望有一种在多个平台（桌面/WEB/APP，而且某些客户端是“瘦”客户端）快速、方便地将数据接入到3D应用系统的解决方案，并且当访问数据时，在各个平台上的性能和用户体验保持一致，HOOPSPlatform将帮助您完成。利用HOOPSPlatform，您可以开发在任何环境下的3D基础应用架构。HOOPSPlatform可以帮您打造3D创新型产品，HOOPSSDK包含的技术有：快速且准确的CAD

  10. ruby-on-rails - 如何在发布新的 Ruby 或 Rails 版本时收到通知？ - 2

    有人知道在发布新版本的Ruby和Rails时收到电子邮件的方法吗？他们有邮件列表，RubyonRails有一个推特，但我不想听到那些随之而来的喧嚣，我只想知道什么时候发布新版本，尤其是那些有安全修复的版本。 最佳答案 从therailsblog获取提要.http://weblog.rubyonrails.org/feed/atom.xml 关于ruby-on-rails-如何在发布新的Ruby或Rails版本时收到通知？，我们在StackOverflow上找到一个类似的问题：

随机推荐