草庐IT

袋鼠云产品功能更新报告02期丨有亿点点走心!

数栈DTinsight 2023-03-28 原文

不知不觉间,2022年的脚步已经走到了倒数第二个月。临近年末,我们对产品本身以及客户反馈的一些问题进行了持续的更新和优化,例如基线告警、数据服务平台新增TDengine 数据源支持、行级权限根据用户属性实现动态赋权。

以下为袋鼠云产品功能更新报告第二期内容,更多探索,请继续阅读。

数栈DTinsight

离线开发平台

1.支持对接Trino引擎

创建项目时支持对接Trino引擎,支持创建和运行Trino任务。

2.个人账号支持绑定Kerberos认证

数栈支持对用户或用户组绑定Kerberos证书,并支持以用户级/用户组级Kerberos账号进行任务提交。

3.基线告警

基线是一组任务的管理单位,被纳入同一组基线的任务一般需要相同的产出时间。一条基线被纳入监控后,该基线中的任务及其所有上游的任务都会被自动监控。

基线在基线管理中开启时,每天晚上24点会生成第二天的基线实例,以对第二天的基线上任务所产生的实例进行监控。

例子:如下图,设一条基线包含任务D、E,则D、E及其上游的A、B都会被纳入监控。

如果某任务的下游没有被纳入基线的任务(例如C),则即使该任务异常,智能监控也不会报警。

4.安全审计增加类目

5.NULL可以选择识别为NULL

数据同步任务中,FTP作为源数据源时,NULL可以选择识别为NULL或者空字符串

6.整库同步可以选择同步任务存放目录

7.其他优化项

· 在IDE中进行任务切换时,会记住上次代码浏览位置

· postgresql、db2、greenplum、kingbase、mysql、oceanbase、oracle、sqlserber、tidb等任务,存储函数使用select * from procedure() /select procedure()调用时,在调度不会执行的问题修复

· 表查询结果限制,所有SQL任务数据查询结果默认仅显示1000条

· 数据同步任务当HDFS分区不存在时,高级配置中可配置是否报错

具体说明:通过指定高级配置中failedIfPathNotExist的状态,来配置是否进行报错提示:

若failedIfPathNotExist=true,则报错;若failedIfPathNotExist=false,则不报错

8.技术改造

· 统计数据流量统计优化

· SQL加密解密防止某些关键字被拦

· 支持spark UDF

· inceptor同步支持直接读写文件的方式去进行数据同步

实时开发平台

1.产品首页改造

在原来只有项目入口和帮助手册入口的基础上,新增了更多运维信息。帮助用户进入产品后,不需要一个个进入项目,可以直观的看到目前项目运行情况、当前需要处理什么问题,提高产品可用性。

2.任务运行日志推送

在【任务开发-任务设置】页面,支持将任务运行日志推送至外部Kafka,运维人员可基于日志信息做更丰富的日志分析、任务监控等工作。

3.优化项目

· PyFlink任务在创建时可以引用第三方python包

· Flink1.12兼容TiDB Connector

· Flink1.10/1.12兼容开启SASL认证的Kafka Connector

· 优化日志打印格式,避免出现/n/t等字符

· Source Connector新增支持了RocketMQ

数据服务平台

1.【生成API】新增TDengine 数据源支持

TDengine 是一款高性能、分布式、支持 SQL 的时序数据库,广泛运用于物联网、工业互联网、车联网、IT 运维、金融等领域。除核心的时序数据库功能外,TDengine 还提供缓存、数据订阅、流式计算等大数据平台所需要的系列功能。

目前EasyAPI支持TDengine基本SQL语句的查询功能,可以在「生成API」-「自定义SQL模式」DQL模式下创建TDengine API服务。

2.【API市场】增加批量导出功能

支持API市场API的批量导出,用户可先在测试环境中进行API调试,无误后在API市场批量导出API,再在正式环境中导入API,提高效率。

3.【API调用情况】新增下载日志功能

「API管理」API调用情况 调用明细/错误明细模块增加「下载日志」功能,可以通过设置调用条件下载7天内的日志数据,方便用户进行明细查看,调用统计。

4.【生成API】in、not in 操作符增加分隔符配置

之前的版本当进行in、not in 操作符查询数据时,默认入参参数为逗号分隔。存在特殊业务场景入参参数中包含逗号的情况,导致入参分隔错误。

当前版本中,针对in、not in操作符,可以自定义选择英文“,”、“|”、“/”、“:”、“;”五种分隔符,以满足不同客户业务场景需求。

数雁EasyDigit

客户数据洞察平台(原智能标签平台)

1.【授权】-标签/实体/群组/目录细粒度权限控制

用户痛点:标签、实体、群组等属于企业数据资源的一部分,随着资源持续维护、资产沉淀,对资源的权限控制提出了更高的要求,本次新增的授权功能能够实现灵活的权限控制。

新增功能说明:给用户/用户组/部门/角色授予当前资源的权限,可授权的资源包括标签、实体、群组、目录,可授予的权限包括可查看、可编辑权限,也可以将资源设置为全员公开可查看/可编辑,实现细粒度的权限控制。


2.【行级权限】-根据用户属性实现动态赋权

用户痛点:行级权限 用来控制用户对标签数据的访问权限,当某个用户被设置了行级权限后,只能查看在权限规则内设置的标签数据。

新增功能说明:

· 支持针对用户属性动态设置权限规则,如1000条结果数据,用户A查看200条,用户B查看500条

· 单个权限标识可设多条权限规则,且最大支持5个层级,条件之间支持配置“且”、“或”关系

· 权限的适用成员可指定用户、用户组、部门、角色,且支持针对用户属性动态设置适用成员

3.【多值标签】-标签值分隔去重

多值标签 的值由一个或多个值组合构成,多个值之间由分隔符进行分隔(系统固定为英文逗号),可在实体/关系创建时指定标签是否多值。

多值型标签的操作符包括【包含部分、包含所有、不包含、精确匹配、模糊匹配、不匹配、有值、无值】,可选的是分隔并去重后的标签值。其中:

· 包含所有:若选择多个标签值,筛选结果将同时符合所有标签值,即多个标签值的筛选结果之间使用交集运算;

· 包含部分:若选择多个标签值,筛选结果将至少符合其中一个标签值,即多个标签值的筛选结果之间使用并集运算。

4.【组织架构】-引入多层级部门

组织架构 是一个组织整体的结构,是企业内部开展业务、落实管理的基本要素。标签系统支持根据多层级的组织架构添加用户,并根据部门进行标签授权、行级权限的控制。

5.【批量操作】-发布/更新交互升级

· 批量发布:分类展示可发布、无法发布的标签,并说明标签无法发布的原因,降低操作门槛

· 批量更新:分类展示可更新、无法更新的标签,并说明标签无法更新的原因,降低操作门槛

6.【通用模板】-查询模板设置

设置查询维度通用模板,并直接应用于标签圈群、上传本地群组、群组交并差选查询维度的地方,用户可以在模板的基础上增删查询维度,减少操作成本。

7.【导出描述】-导出数据时可填描述

用户在导出数据时可填写描述信息,系统将描述信息记录在审计日志中。

8.其他优化项

· 标签圈群支持重置条件

· 字典数据最大支持2000条

袋鼠云开源框架钉钉技术交流qun(30537511),欢迎对大数据开源项目有兴趣的同学加入交流最新技术信息,开源项目库地址:https://github.com/DTStack/Taier

有关袋鼠云产品功能更新报告02期丨有亿点点走心!的更多相关文章

  1. ruby-on-rails - 如何验证 update_all 是否实际在 Rails 中更新 - 2

    给定这段代码defcreate@upgrades=User.update_all(["role=?","upgraded"],:id=>params[:upgrade])redirect_toadmin_upgrades_path,:notice=>"Successfullyupgradeduser."end我如何在该操作中实际验证它们是否已保存或未重定向到适当的页面和消息? 最佳答案 在Rails3中,update_all不返回任何有意义的信息,除了已更新的记录数(这可能取决于您的DBMS是否返回该信息)。http://ar.ru

  2. ruby-on-rails - 使用 rails 4 设计而不更新用户 - 2

    我将应用程序升级到Rails4,一切正常。我可以登录并转到我的编辑页面。也更新了观点。使用标准View时,用户会更新。但是当我添加例如字段:name时,它​​不会在表单中更新。使用devise3.1.1和gem'protected_attributes'我需要在设备或数据库上运行某种更新命令吗?我也搜索过这个地方,找到了许多不同的解决方案,但没有一个会更新我的用户字段。我没有添加任何自定义字段。 最佳答案 如果您想允许额外的参数,您可以在ApplicationController中使用beforefilter,因为Rails4将参数

  3. ruby-on-rails - Cucumber 是否只是 rspec 的包装器以帮助将测试组织成功能? - 2

    只是想确保我理解了事情。据我目前收集到的信息,Cucumber只是一个“包装器”,或者是一种通过将事物分类为功能和步骤来组织测试的好方法,其中实际的单元测试处于步骤阶段。它允许您根据事物的工作方式组织您的测试。对吗? 最佳答案 有点。它是一种组织测试的方式,但不仅如此。它的行为就像最初的Rails集成测试一样,但更易于使用。这里最大的好处是您的session在整个Scenario中保持透明。关于Cucumber的另一件事是您(应该)从使用您的代码的浏览器或客户端的角度进行测试。如果您愿意,您可以使用步骤来构建对象和设置状态,但通常您

  4. 报告回顾丨模型进化狂飙,DetectGPT能否识别最新模型生成结果? - 2

    导读语言模型给我们的生产生活带来了极大便利,但同时不少人也利用他们从事作弊工作。如何规避这些难辨真伪的文字所产生的负面影响也成为一大难题。在3月9日智源Live第33期活动「DetectGPT:判断文本是否为机器生成的工具」中,主讲人Eric为我们讲解了DetectGPT工作背后的思路——一种基于概率曲率检测的用于检测模型生成文本的工具,它可以帮助我们更好地分辨文章的来源和可信度,对保护信息真实、防止欺诈等方面具有重要意义。本次报告主要围绕其功能,实现和效果等展开。(文末点击“阅读原文”,查看活动回放。)Ericmitchell斯坦福大学计算机系四年级博士生,由ChelseaFinn和Chri

  5. postman——集合——执行集合——测试脚本——pm对象简单示例02 - 2

    //1.验证返回状态码是否是200pm.test("Statuscodeis200",function(){pm.response.to.have.status(200);});//2.验证返回body内是否含有某个值pm.test("Bodymatchesstring",function(){pm.expect(pm.response.text()).to.include("string_you_want_to_search");});//3.验证某个返回值是否是100pm.test("Yourtestname",function(){varjsonData=pm.response.json

  6. 神州数码无线产品(AC+AP)配置 - 2

    注意:本文主要掌握DCN自研无线产品的基本配置方法和注意事项,能够进行一般的项目实施、调试与运维AP基本配置命令AP登录用户名和密码均为:adminAP默认IP地址为:192.168.1.10AP默认情况下DHCP开启AP静态地址配置:setmanagementstatic-ip192.168.10.1AP开启/关闭DHCP功能:setmanagementdhcp-statusup/downAP设置默认网关:setstatic-ip-routegeteway192.168.10.254查看AP基本信息:getsystemgetmanagementgetmanaged-apgetrouteAP配

  7. 阿里云RDS——产品系列概述 - 2

    基础版云数据库RDS的产品系列包括基础版、高可用版、集群版、三节点企业版,本文介绍基础版实例的相关信息。RDS基础版实例也称为单机版实例,只有单个数据库节点,计算与存储分离,性价比超高。说明RDS基础版实例只有一个数据库节点,没有备节点作为热备份,因此当该节点意外宕机或者执行重启实例、变更配置、版本升级等任务时,会出现较长时间的不可用。如果业务对数据库的可用性要求较高,不建议使用基础版实例,可选择其他系列(如高可用版),部分基础版实例也支持升级为高可用版。基础版与高可用版的对比拓扑图如下所示。优势 性能由于不提供备节点,主节点不会因为实时的数据库复制而产生额外的性能开销,因此基础版的性能相对于

  8. 牛客网专项练习30天Pytnon篇第02天 - 2

    1.在Python3中,下列关于数学运算结果正确的是:(B)a=10b=3print(a//b)print(a%b)print(a/b)A.3,3,3.3333...B.3,1,3.3333...C.3.3333...,3.3333...,3D.3.3333...,1,3.3333...解析:    在Python中,//表示地板除(向下取整),%表示取余,/表示除(Python2向下取整返回3)2.如下程序Python2会打印多少个数:(D)k=1000whilek>1:    print(k)k=k/2A.1000 B.10C.11D.9解析:    按照题意每次循环K/2,直到K值小于等

  9. objective-c - 在设置 Cocoa Pods 和安装 Ruby 更新时出错 - 2

    我正在尝试为我的iOS应用程序设置cocoapods但是当我执行命令时:sudogemupdate--system我收到错误消息:当前已安装最新版本。中止。当我进入cocoapods的下一步时:sudogeminstallcocoapods我在MacOS10.8.5上遇到错误:ERROR:Errorinstallingcocoapods:cocoapods-trunkrequiresRubyversion>=2.0.0.我在MacOS10.9.4上尝试了同样的操作,但出现错误:ERROR:Couldnotfindavalidgem'cocoapods'(>=0),hereiswhy:U

  10. ruby-on-rails - Rails Associations 的更新方法是什么? - 2

    这太简单了,太荒谬了,我在任何地方都找不到关于它的任何信息,包括API文档和Rails源代码:我有一个:belongs_to关联,我开始理解当您没有关联时您在Controller中调用的正常模型方法与您有关联时调用的方法略有不同。例如,我的关联在创建Controller操作时运行良好:@user=current_user@building=Building.new(params[:building])respond_todo|format|if@user.buildings.create(params[:building])#etcetera但我找不到关于更新如何工作的文档:@user

随机推荐