数据治理是推动大型集团企业转型升级、提升竞争优势、实现高质量发展的重要引擎。通过全链数据结构化,实现业务对象、业务规则、业务流程数字化,推进全链业务深度数字化,夯实数据运营底座。
厦门国贸集团股份有限公司(简称“国贸股份”)是国有控股上市公司,同时也是首批全国供应链创新与应用示范企业,在“十四五”规划期内以聚焦供应链管理核心主业作为主要战略发展方向。供应链运营管理以大宗商品贸易为主,其交易往往具有交易量巨大、交易环节复杂、风险交易难识别、风险客商难管控等痛点。
随着国贸股份数字化转型不断深化,数据应用方面的需求不断扩展。但公司缺乏统一的大数据资产管理平台,导致在数据应用方面,岀现数据价值不凸显、数据标准不统一、数据质量不可控、数据共享不畅通等问题。
在此背景下,国贸股份与袋鼠云达成合作,携手打造全域统一,覆盖运管、风控、业务全过程数字化经营管理及分析决策的统一数据资产平台。对集团现有存量数据进行数据治理及挖掘,搭建数据管理体系,对增量数据进行有效管理和应用。通过梳理目前集团所有存量数据,提炼运营指标及管理指标,科学化管理公司数据资产和挖掘数据价值。

袋鼠云根据国贸股份的数据治理需求,结合内部现有数据开发平台产品,以业务应用场景为导向,形成集团统一的数据治理方案。
自下而上围绕数据治理、数据服务方向展开实施,其中数据治理以统一集团数据归集方式、数据质量标准、元数据维护标准、数据建模标准为目标进行建设,数据服务以满足集团下属各子公司数据需求为主。从数据出发,沉淀数据资产,完善数据权限管理,补充实时处理能力,统一调度工具,统一数据服务。具体建设内容包括以下几点,最终帮助国贸股份建立全域数据中心(ODS):
1、数据采集/分发
覆盖离线采集管理、实时采集管理、数据分发管理,实现数据高效、有序流动;
2、数据开发平台
提供一站式、全流程开发支持,包括离线开发、实时开发两大模块;
3、数据资产平台
提供成熟数据治理套件,包括元数据管理、数据资产管理、数据标准管理、数据模型管理、数据质量管理、数据安全管理;
4、数据服务平台
提供简易化的数据共享服务能力,基于零代码的理念快速生成API,提高数据开放与共享效率,快速释放数据价值;
5、运维管理平台
提供大数据产品的一站式部署、监控、升级服务,致力于最大化的节省运维成本,提供安全稳定的产品部署与监控。

自上而下围绕数据应用方向展开实施,从业务出发,构建数据体系。以聚焦供应链运营管理业务为核心,通过建立全域数据中心,统一数据服务标准,为业务运营提供标准化、统一化、实时的数据支撑,满足集团供应链运管部物流仓储管理、客商信用管理、价格管理、运营管理等部门数据分析需求,实施搭建签约销售/采购看板、物流仓储四大看板、授信额度跟踪看板、逾期数据分析看板、运管风险逾期周报填报等业务场景。
目前,集团内部数据中台共构建800余张表,数据执行任务总量500余个,分别对运营管理、物流管理、信用管理数据进行统一归集,按照业务指标逻辑进行数据处理开发,满足业务人员数据报表填报和数据统计分析应用场景。
1、运营管理场景
通过重新梳理客户逾期、客户赊销、现货敞口库存等业务报表数据,结合大数据平台取数能力,实现签约情况分析等场景建设,有效减轻业务人员每周报表加工填报的工作压力,同时提高业务数据线上留存能力。
2、物流管理场景
以物流合同、库点库存等数据为基础,进行统一汇聚处理,按照业务指标口径进行数据开发,实现物流仓储四大看板,为业务人员发现潜在风险和日常业务数据便捷查询提供有利条件。
3、信用管理场景
以客商授信用数据为核心,结合业务逻辑指标进行数据开发,实现信用管理场景建设,为业务人员控制客商授信额度、发现客商潜在风险、明确当前各行业产品盈利情况提供有效支撑。
当前,国际产业链供应链正在经历重构,大数据已逐渐成为贸易企业进一步降低成本与提升贸易精准性的重要利器。此次数字化建设意义深远,为国贸股份的产业综合服务插上数字化翅膀,助力集团打造业内一流的数字化供应链,创造推动“数字国贸”建设的新引擎。
“在我司2022年的数据中台项目建设过程中,贵司工作专业、务实,与我司逐一、详细地对齐项目需求、痛点、核心关注点等,并且逐一落实实现路径。几位同事积极响应项目需求、统筹协调资源、克服种种困难完成了各项任务,是值得信赖的合作伙伴……”国贸股份在感谢信中如是说道,充分肯定了袋鼠云的技术与服务能力。
近日,袋鼠云重磅发布《数据治理行业实践白皮书》,白皮书基于袋鼠云在数据治理领域的8年深厚积累与实践服务经验,从专业视角逐步剖析数据治理难题,阐述数据治理的概念内涵、目标价值、实施路线、保障体系与平台工具,并借助行业实践案例解析,为广大读者提供一种数据治理新思路。
《数据治理行业实践白皮书》下载地址:https://fs80.cn/380a4b
想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=szbky
同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术qun」,交流最新开源技术信息,qun号码:30537511,项目地址:https://github.com/DTStack
我正在尝试解析一个CSV文件并使用SQL命令自动为其创建一个表。CSV中的第一行给出了列标题。但我需要推断每个列的类型。Ruby中是否有任何函数可以找到每个字段中内容的类型。例如,CSV行:"12012","Test","1233.22","12:21:22","10/10/2009"应该产生像这样的类型['integer','string','float','time','date']谢谢! 最佳答案 require'time'defto_something(str)if(num=Integer(str)rescueFloat(s
目录一.加解密算法数字签名对称加密DES(DataEncryptionStandard)3DES(TripleDES)AES(AdvancedEncryptionStandard)RSA加密法DSA(DigitalSignatureAlgorithm)ECC(EllipticCurvesCryptography)非对称加密签名与加密过程非对称加密的应用对称加密与非对称加密的结合二.数字证书图解一.加解密算法加密简单而言就是通过一种算法将明文信息转换成密文信息,信息的的接收方能够通过密钥对密文信息进行解密获得明文信息的过程。根据加解密的密钥是否相同,算法可以分为对称加密、非对称加密、对称加密和非
在Ruby中,是否有一种简单的方法可以将n维数组中的每个元素乘以一个数字?这样:[1,2,3,4,5].multiplied_by2==[2,4,6,8,10]和[[1,2,3],[1,2,3]].multiplied_by2==[[2,4,6],[2,4,6]]?(很明显,我编写了multiplied_by函数以区别于*,它似乎连接了数组的多个副本,不幸的是这不是我需要的)。谢谢! 最佳答案 它的长格式等价物是:[1,2,3,4,5].collect{|n|n*2}其实并没有那么复杂。你总是可以使你的multiply_by方法:c
我正在使用Ruby解决一些ProjectEuler问题,特别是这里我要讨论的问题25(Fibonacci数列中包含1000位数字的第一项的索引是多少?)。起初,我使用的是Ruby2.2.3,我将问题编码为:number=3a=1b=2whileb.to_s.length但后来我发现2.4.2版本有一个名为digits的方法,这正是我需要的。我转换为代码:whileb.digits.length当我比较这两种方法时,digits慢得多。时间./025/problem025.rb0.13s用户0.02s系统80%cpu0.190总计./025/problem025.rb2.19s用户0.0
我正在构建一个小部件来显示奥运会的奖牌数。我有一个“国家”对象的集合,其中每个对象都有一个“名称”属性,以及奖牌计数的“金”、“银”、“铜”。列表应该排序:1.首先是奖牌总数2.如果奖牌相同,按类型分割(金>银>铜,即2金>1金+1银)3.如果奖牌和类型相同,则按字母顺序子排序我正在用ruby做这件事,但我想语言并不重要。我确实找到了一个解决方案,但如果感觉必须有更优雅的方法来实现它。这是我做的:使用加权奖牌总数创建一个虚拟属性。因此,如果他们有2个金牌和1个银牌,加权总数将为“3.020100”。1金1银1铜为“3.010101”由于我们希望将奖牌数排序为最高的,因此列表按降序排
我想为名字验证编写一个正则表达式。正则表达式应包括所有字母(拉丁/法语/德语字符等)。但是我想从中排除数字并允许-。所以基本上它是\w(减)数(加)-。请帮忙。 最佳答案 ^[\p{L}-]+$\p{L}匹配anykindofletterfromanylanguage. 关于ruby-on-rails-rails中的正则表达式匹配[\w]和"-"但不匹配数字,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.c
在我的应用程序中,我有一个文本字段,用户可以在其中输入类似这样的内容"1,2,3,4"存储到数据库中。现在,当我想使用内部数字时,我有两个选择:"1,2,3,4".split(',')或string.scan(/\d+/)do|x|a两种方式我都得到一个像这样的数组["1","2","3","4"]然后我可以通过在每个数字上调用to_i来使用这些数字。有没有更好的方法可以转换"1,2,3"to[1,2,3]andnot["1","2","3"] 最佳答案 str.split(",").map{|i|i.to_i}但是这个想法对你来说
我有一个随机大小的散列,它可能有类似"100"的值,我想将其转换为整数。我知道我可以使用value.to_iifvalue.to_i.to_s==value来做到这一点,但我不确定我将如何在我的散列中递归地做到这一点,考虑到一个值可以是一个字符串,或一个数组(哈希或字符串),或另一个哈希。 最佳答案 这是一个非常简单的递归实现(尽管必须同时处理数组和散列会增加一些技巧)。deffixnumifyobjifobj.respond_to?:to_i#IfwecancastittoaFixnum,doit.obj.to_ielsifobj
什么是测试格式验证的最佳方法让我们说一个用户名,使用字母数字的正则表达式,但不是纯数字?我一直在我的模型中使用以下验证validates:username,:format=>{:with=>/^[a-z0-9]+[-a-z0-9]*[a-z0-9]+$/i}数字用户名(例如“342”)通过了验证,这是我不想要的。 最佳答案 您想“向前看”一封信:/\A(?=.*[a-z])[a-z\d]+\Z/i 关于ruby-on-rails-Rails格式验证——字母数字,但不是纯数字,我们在Sta
如果至少有两个相邻的数字相同,格式为,我需要打包.这是我的输入:[2,2,2,3,4,3,3,2,4,4,5]以及预期的输出:"2:3,3,4,3:2,2,4:2,5"到目前为止我试过:a=[1,1,1,2,2,3,2,3,4,4,5]a.each_cons(2).any?do|s,t|ifs==t如果相等,也许可以尝试计数器,但那是行不通的。 最佳答案 您可以使用Enumerable#chunk_while(如果你使用的是Ruby>=2.3):a.chunk_while{|a,b|a==b}.flat_map{|chunk|chu