草庐IT

开源里程碑| 数据应用开发管理集成框架DataSphere Studio 1.1.0 新版本发布

康月牙 2023-03-28 原文

DataSphereStudio1.1.0 是践行数据应用开发管理框架的里程碑,集成了 WeDataSphere 已开源的所有生态组件,并带来了一系列强大的全新特性,以及更加精简、易于对接的数据应用开发集成架构设计和实现。

DataSphere Studio 简介

DataSphere Studio(简称 DSS)是微众银行自研的数据应用开发管理集成框架。基于插拔式的集成框架设计,及计算中间件 Linkis ,可轻松接入上层各种数据应用系统,让数据开发变得简洁又易用。

在统一的 UI 下,DataSphere Studio 以工作流式的图形化拖拽开发体验,将满足从数据交换、脱敏清洗、分析挖掘、质量检测、可视化展现、定时调度到数据输出应用等,数据应用开发全流程场景需求。

DSS 通过插拔式的集成框架设计,让用户可以根据需要,简单快速替换 DSS 已集成的各种功能组件,或新增功能组件。

GitHub:https://github.com/WeBankFinTech/DataSphereStudio

DSS1.1.0 版本说明

DSS1.1.0 主要特性如下:

- 已集成 WeDataSphere 已开源的所有生态组件,包括 Apache Linkis1.1.1、Exchangis1.0.0、Schedulis0.7.0、Qualitis0.9.2、Visualis1.0.0、Streamis0.2.0 和 Prophecis0.3.2。

- 集成了 Apache DolphinScheduler1.3.X。支持将 DSS 工作流一键发布为 DolphinScheduler 工作流,为工作流调度设计并开发了全新的调度中心。

- 用户体验优化。如支持换肤、顶部导航栏改版、DSS 开发中心改版等。

- 帮助手册和新手指引。

- 安装部署优化。进一步简化 DSS&Linkis 全家桶一键安装部署流程,让 DSS 和 Linkis 的安装在半个小时内完成。

- 支持优雅升级。提供了如何从DSS1.0.1升级到DSS1.1.0,以及DSS0.9如何迁移到DSS1.1.0的详细升级流程。

- AppConn 架构优化。架构更加简化清晰,文档更加全面细腻,手把手教您如何实现一个新的AppConn,以及添加一个新的工作流节点。

缩写:

- DSS: DataSphereStudio

- DAS: Data Api Service

已集成的数据应用组件

新特性

- [DSS-AppConn] 集成了 Apache DolphinScheduler1.3.X,设计并开发了全新的调度中心

- [DSS-Commons] 适配了 Apache Linkis1.1.1

- [DSS-AppConn] 集成了 Exchangis1.0.0

- [DSS-AppConn] 集成了 Schedulis0.7.0

- [DSS-AppConn] 集成了 Qualitis0.9.2

- [DSS-AppConn] 集成了 Visualis1.0.0

- [DSS-AppConn] 集成了 Streamis0.2.0

- [DSS-AppConn] 集成了 Prophecis0.3.2

- [DSS-AppConn] AppConn 架构优化

- [DSS-Deployment] AppConn 插件安装支持热更新,无需重启所有服务

- [DSS-Deployment] 支持优雅升级

- [DSS-Workspace] 新增帮助手册和新手指引

- [DSS-UI] 开发中心用户体验优化,如支持换肤、顶部导航栏改版等

- [DSS-Workflow] 新增工作流版本的脚本文件下载功能

功能增强

- [DSS-Workspace] 精简工作空间的部分接口,同时去掉无用的部分接口

- [DSS-Workspace] 新建工作空间时增加工作空间类型选项;工作空间首页右侧新增管理台功能;右下角新增帮助按钮

- [DSS-Workspace] 原先工作空间的应用商店去掉,组件访问入口统一从左上角菜单栏进入

- [DSS-Workspace] 首页下方应用开发流程demo案例优化,将demo案例的按钮去掉,改为敬请期待

- [DSS-UI] 资源管理器按钮样式变化、增加换肤功能、工程项目列表UI变动;应用商店UI样式变化;右上角导航栏UI改动

- [DSS-DAS] 下载功能限制5000条,并且每次下载操作都要向用户弹出操作风险提示

- [DSS-DAS] 结果集可视化页面的优化调整;优化结果集分页排序;支持结果集及日志部分下拉;结果集表格宽度支持拉长

- [DSS-Workflow] 新增工作流基础属性展示

- [DSS-Workflow] 新建工作流时自动将工作流模式和工作流方式勾选

- [DSS-Workflow] 新建工作流时增加工作流重要性级别特性

- [DSS-Workflow] datachecker支持run_date变量 

- [DSS-Scriptis] 支持拖动代码tab到任意位置

- [DSS-Scriptis] Sql和Hql支持文件类型相互修改

- [DSS-Scriptis] 工作空间代码文件支持复制粘贴

- [DSS-Scriptis] 前端查看数据库表时支持只看自己创建的表

- [DSS-Commons] 用户登录之后,帮助用户清理缓存

- [DSS-AppConn] 补充Schedulis AppConn的Update和Delete 操作,并添加对应接口

Bug修复

- [DSS-Workspace] 修复在删除项目时无法同步删除所有第三方系统项目的问题

- [DSS-Workspace] 修复工作空间管理-用户管理,编辑用户接口报400 bad request的问题

- [DSS-Workspace] 修复用户管理页面用户数据显示异常的问题

- [DSS-Workspace] 修复创建项目页面中发布权限、编辑权限和查看权限的下拉框无法获取该工作空间全部用户的问题

- [DSS-Workspace] 修复切换代理用户后,前端工作空间展示的文件目录不正确问题

- [DSS-Workspace] 修复点击可视化按钮后界面没有显示可视化界面的问题

- [DSS-Workspace] 修复脚本选择右键打开到侧边控制台报错的问题

- [DSS-Workspace] 修复脚本复制粘贴到首次打开的文件夹下报错的问题

- [DSS-Workspace] 修复用户在新建工程后授予其他用户权限,结果其他用户权限异常的问题

- [DSS-Workspace] 修复工程复制功能按钮未展示的问题

- [DSS-Workspace] 修复创建工程时向第三方应用发出检测工程名是否重复的请求失败问题 

- [DSS-Workflow] 修复eventsender和eventreceiver节点传参失败的问题

- [DSS-Workflow] 修复datachecker里的run_year等新增内置参数不生效的问题

- [DSS-Workflow] 修复在有subflow的情况下,导出数据错乱或丢失的问题 

- [DSS-Workflow] 修复sendmail节点运行失败的问题

- [DSS-Workflow] 修复开发中心的工作流回滚失败问题

- [DSS-Workflow] 修复datachecker、eventsender、eventreceiver节点运行时显示Failed  to async get EngineNode AMErrorException

- [DSS-Workflow] 修复工作流暂停执行接口显示404的异常 

- [DSS-Workflow] 修复工作流节点在右键关键脚本时,目录不能展示最新的异常

- [DSS-Workflow] 修复运行有结果集节点时,管理台结果集展示不全的问题

- [DSS-Workflow] 修复datachecker在eventreceiver后面运行失败的问题

- [DSS-Workflow] 修复工作流实时执行时部分节点已成功但状态未翻转导致工作流卡死的问题

- [DSS-Workflow] 修复在实时执行工作流中代理用户设置为非系统用户名后工作流执行失败的问题

- [DSS-Scriptis] 修复工作空间导入文件到HDFS失败的问题

- [DSS-Scriptis] 修复IDE中引用全局变量无效的问题

- [DSS-DAS] 修复数据服务执行失败异常

- [DSS-DAS] 修复结果集下载报错异常

- [DSS-DAS] 修复选择多个结果集时,上个结果集的翻页会带过来的问题

- [DSS-DAS] 修复导出CSV格式的结果集显示无权限问题

- [DSS-DAS] 修复导出结果集后运行日志页面内容显示不全的问题

- [DSS-DAS] 修复运行有结果集的脚本可视化报错的异常

- [DSS-DAS] 修复结果集排序问题

- [DSS-Commons] 修复shell中调用sqoop和script code中的代码与脚本中不一致问题

- [DSS-Commons] 修复shell节点输入vi a.txt命令会导致脚本一直运行且引擎处于繁忙的问题

- [DSS-Commons] 修复接口/api/rest_j/v1/dss/datapipe/backgroundservice将代理用户设置为空导致报错的异常

- [DSS-Commons] 修复hadoop用户创建项目时未赋予A用户任何权限,但A用户工作空间仍显示该项目的异常

- [DSS-AppConn] 修复AppConn启动时偶现zip失败的问题

- [DSS-Engine] 修复Python 3引擎被Kill后,运行节点显示为Python 2的问题 

贡献者

DSS 1.1.0 的发布离不开DSS社区的贡献者,感谢所有的社区贡献者,包括但不仅限于以下贡献者:

  • rootljw、teenwolf0910、njnu-seafish
  • luban08、HanTang1、det101
  • KidUncle、mingfengwang
  • 安装包

    DSS1.1.0&Linkis1.1.1一键安装包:

    https://osp-1257653870.cos.ap-guangzhou.myqcloud.com/WeDatasphere/DataSphereStudio/dss_linkis_one-click_install_20220704.zip 

    — END —

    如何成为社区贡献者

    ► 官方文档贡献。发现文档的不足、优化文档,持续更新文档等方式参与社区贡献。通过文档贡献,让开发者熟悉如何提交PR和真正参与到社区的建设。参考攻略:保姆级教程:如何成为Apache Linkis文档贡献者

    ► 代码贡献。我们梳理了社区中简单并且容易入门的的任务,非常适合新人做代码贡献。请查阅新手任务列表:https://github.com/apache/incubator-linkis/issues/1161

    ► 内容贡献:发布WeDataSphere开源组件相关的内容,包括但不限于安装部署教程、使用经验、案例实践等,形式不限,请投稿给小助手。例如:

    ► 社区答疑:积极在社区中进行答疑、分享技术、帮助开发者解决问题等;

    ► 其他:积极参与社区活动、成为社区志愿者、帮助社区宣传、为社区发展提供有效建议等;


    本文使用 文章同步助手 同步

    有关开源里程碑| 数据应用开发管理集成框架DataSphere Studio 1.1.0 新版本发布的更多相关文章

    1. ruby - i18n Assets 管理/翻译 UI - 2

      我正在使用i18n从头开始​​构建一个多语言网络应用程序,虽然我自己可以处理一大堆yml文件,但我说的语言(非常)有限,最终我想寻求外部帮助帮助。我想知道这里是否有人在使用UI插件/gem(与django上的django-rosetta不同)来处理多个翻译器,其中一些翻译器不愿意或无法处理存储库中的100多个文件,处理语言数据。谢谢&问候,安德拉斯(如果您已经在ruby​​onrails-talk上遇到了这个问题,我们深表歉意) 最佳答案 有一个rails3branchofthetolkgem在github上。您可以通过在Gemfi

    2. ruby - 将差异补丁应用于字符串/文件 - 2

      对于具有离线功能的智能手机应用程序,我正在为Xml文件创建单向文本同步。我希望我的服务器将增量/差异(例如GNU差异补丁)发送到目标设备。这是计划:Time=0Server:hasversion_1ofXmlfile(~800kiB)Client:hasversion_1ofXmlfile(~800kiB)Time=1Server:hasversion_1andversion_2ofXmlfile(each~800kiB)computesdeltaoftheseversions(=patch)(~10kiB)sendspatchtoClient(~10kiBtransferred)Cl

    3. ruby-on-rails - Rails 应用程序之间的通信 - 2

      我构建了两个需要相互通信和发送文件的Rails应用程序。例如,一个Rails应用程序会发送请求以查看其他应用程序数据库中的表。然后另一个应用程序将呈现该表的json并将其发回。我还希望一个应用程序将存储在其公共(public)目录中的文本文件发送到另一个应用程序的公共(public)目录。我从来没有做过这样的事情,所以我什至不知道从哪里开始。任何帮助,将不胜感激。谢谢! 最佳答案 无论Rails是什么,几乎所有Web应用程序都有您的要求,大多数现代Web应用程序都需要相互通信。但是有一个小小的理解需要你坚持下去,网站不应直接访问彼此

    4. ruby - 无法运行 Rails 2.x 应用程序 - 2

      我尝试运行2.x应用程序。我使用rvm并为此应用程序设置其他版本的ruby​​:$rvmuseree-1.8.7-head我尝试运行服务器,然后出现很多错误:$script/serverNOTE:Gem.source_indexisdeprecated,useSpecification.Itwillberemovedonorafter2011-11-01.Gem.source_indexcalledfrom/Users/serg/rails_projects_terminal/work_proj/spohelp/config/../vendor/rails/railties/lib/r

    5. ruby-on-rails - Rails 应用程序中的 Rails : How are you using application_controller. rb 是新手吗? - 2

      刚入门rails,开始慢慢理解。有人可以解释或给我一些关于在application_controller中编码的好处或时间和原因的想法吗?有哪些用例。您如何为Rails应用程序使用应用程序Controller?我不想在那里放太多代码,因为据我了解,每个请求都会调用此Controller。这是真的? 最佳答案 ApplicationController实际上是您应用程序中的每个其他Controller都将从中继承的类(尽管这不是强制性的)。我同意不要用太多代码弄乱它并保持干净整洁的态度,尽管在某些情况下ApplicationContr

    6. ruby-on-rails - 项目升级后 Pow 不会更改 ruby​​ 版本 - 2

      我在我的Rails项目中使用Pow和powifygem。现在我尝试升级我的ruby​​版本(从1.9.3到2.0.0,我使用RVM)当我切换ruby​​版本、安装所有gem依赖项时,我通过运行railss并访问localhost:3000确保该应用程序正常运行以前,我通过使用pow访问http://my_app.dev来浏览我的应用程序。升级后,由于错误Bundler::RubyVersionMismatch:YourRubyversionis1.9.3,butyourGemfilespecified2.0.0,此url不起作用我尝试过的:重新创建pow应用程序重启pow服务器更新战俘

    7. ruby-on-rails - 在 ruby​​ .gemspec 文件中,如何指定依赖项的多个版本? - 2

      我正在尝试修改当前依赖于定义为activeresource的gem:s.add_dependency"activeresource","~>3.0"为了让gem与Rails4一起工作,我需要扩展依赖关系以与activeresource的版本3或4一起工作。我不想简单地添加以下内容,因为它可能会在以后引起问题:s.add_dependency"activeresource",">=3.0"有没有办法指定可接受版本的列表?~>3.0还是~>4.0? 最佳答案 根据thedocumentation,如果你想要3到4之间的所有版本,你可以这

    8. ruby-on-rails - 如何在我的 Rails 应用程序 View 中打印 ruby​​ 变量的内容? - 2

      我是一个Rails初学者,但我想从我的RailsView(html.haml文件)中查看Ruby变量的内容。我试图在ruby​​中打印出变量(认为它会在终端中出现),但没有得到任何结果。有什么建议吗?我知道Rails调试器,但更喜欢使用inspect来打印我的变量。 最佳答案 您可以在View中使用puts方法将信息输出到服务器控制台。您应该能够在View中的任何位置使用Haml执行以下操作:-puts@my_variable.inspect 关于ruby-on-rails-如何在我的R

    9. ruby-on-rails - 如何使辅助方法在 Rails 集成测试中可用? - 2

      我在app/helpers/sessions_helper.rb中有一个帮助程序文件,其中包含一个方法my_preference,它返回当前登录用户的首选项。我想在集成测试中访问该方法。例如,这样我就可以在测试中使用getuser_path(my_preference)。在其他帖子中,我读到这可以通过在测试文件中包含requiresessions_helper来实现,但我仍然收到错误NameError:undefinedlocalvariableormethod'my_preference'.我做错了什么?require'test_helper'require'sessions_hel

    10. ruby-on-rails - 如果我将 ruby​​ 版本 2.5.1 与 rails 版本 2.3.18 一起使用会怎样? - 2

      如果我使用ruby​​版本2.5.1和Rails版本2.3.18会怎样?我有基于rails2.3.18和ruby​​1.9.2p320构建的rails应用程序,我只想升级ruby的版本,而不是rails,这可能吗?我必须面对哪些挑战? 最佳答案 GitHub维护apublicfork它有针对旧Rails版本的分支,有各种变化,它们一直在运行。有一段时间,他们在较新的Ruby版本上运行较旧的Rails版本,而不是最初支持的版本,因此您可能会发现一些关于需要向后移植的有用提示。不过,他们现在已经有几年没有使用2.3了,所以充其量只能让更

    随机推荐