草庐IT

谈谈2023年数据治理的五大趋势

晓晓 2023-03-29 原文

2023年数据将继续在商业行业和经济体中流动。有了更多的渠道、更快的速度和包含更多的洞察力,组织将别无选择,只能向数据驱动的业务模型发展。企业领导者面临的问题是:它是积极主动和动态的——还是更加被动并参与追赶?

前几年可能意味着数据泛滥使处理和提取见解变得更加困难。在大数据挑战更多围绕存储和安全性的时代。现在情况正在发生巨大变化。我们看到越来越多的组织开始意识到其数据驱动的潜力。成功的用例广泛且跨行业。

随着数据价值达到新高,管理数据驱动决策的基本规则没有改变。要做出正确的决策,您需要高质量的数据。您需要知道您拥有什么、它位于何处、它的沿袭是什么以及哪些业务规则决定了它的结构、内容和有效性。如果您的数据质量低下或您的数据资产管理不善,那么您将无法使用它们做出正确的业务决策。

随着数据的作用和数据驱动的决策制定的增加,以及可用数据的总体数量和速度的增长,数据治理也在不断发展,以满足不断变化的业务需求。2023年数据治理的最大趋势是什么?

“到2025年,30%的Gartner客户将使用“需要共享”方法而不是传统的“需要知道”方法来保护他们的数据。“

1.云数据治理

从远程工作到人工智能,云继续支撑着现代商业的重塑。超过70%的组织已将至少部分工作负载迁移到公共云中。然而,成为云原生的竞争并非没有风险,从预算超支到迁移延迟。

“效率低下导致平均每年公司的迁移支出比计划多14%,而且38%的公司的迁移延迟超过四分之一。”

------麦肯锡

DevOps人才的持续短缺将加剧迁移和生态系统的挑战。尤其是在受到高度监管的行业中,传统和本地基础设施占很大比重,不同的工作负载不太适合“提升和转移”方法。组织将需要寻找其他方法来保持竞争力,例如自动化和自助数据分析。

这些基于云的管理系统提供了一种转换原始数据并在正确的时间将其交付给正确的用户的方法。无需IT或数据分析师先准备报告。相反,可以按需存储和访问大量数据。超越使用数据仓库的传统和静态方法,而是为每个用户及其相关用例带来可定制的仪表板。

至关重要的是,基于云的服务现在越来越多地得到AI和ML产品的支持。这些释放了企业应用人工智能优化现有流程的潜力,例如通过自动化工作流程。还可以根据历史请求应用学习元素,确保现代数据治理的持续改进周期。

2.自适应人工智能

在当今瞬息万变的世界中,“一切照旧”的概念要求提高灵活性、活力和适应生存的准备。预计2023年将通过自适应人工智能的兴起来实现这一点。系统根据新数据不断学习、调整和重新训练模型。它不同于传统的和更静态的人工智能,后者需要人类开发人员更新模型并防止它们变得过时或过时。

通过有效地“内置”持续学习,人工智能将需要更少的人工干预。更重要的是,从数据中自适应学习的能力将产生新的见解来支持执行决策,从而使企业能够引入应用可观察性。这是可以分析基于AI的决策以获得进一步建议的地方。然后可以创建一个反馈循环来跟踪以前的结果。由此产生的基于证据的见解可用于提高预测的准确性并为未来的战略提供信息。

“到2026年,采用AI工程实践来构建和管理自适应AI系统的企业将在运行人工智能模型所需的数量和时间上超过同行至少25%。

------Gartner

自适应人工智能有可能解决机器学习模型带来的一些历史挑战。在离群值经常影响训练数据的情况下,每次迭代都会以指数方式扭曲结果,而不是被忽视。当然,真正新颖的观察或现实世界变化的影响可能很容易在小数据集中检测到。而在AI所需的数量中,此类异常值更难确定。因此,自适应人工智能可以降低这种算法偏差的风险。通过动态调整流程,自适应人工智能还可以通过应用更智能的自动化来帮助企业确保更有效的治理。

3、实时数据

数据使企业保持运转,但实时数据提供了竞争优势。从以毫秒为单位进行交易的金融机构到批准付款和处理PII的电子商务商店。在按需自助服务体验的推动下,对实时数据的进一步需求将来自不断提高的客户期望。与批量数据管道相比,创建实时数据管道还可以降低处理成本。批处理数据必须从源头反复查询,而实时只需要对新数据或事件做出反应。

一些用例只需要基于批处理的管道来处理历史数据。然而,随着数据集和相关的治理要求越来越大,许多组织将不得不进行一些大型基础设施调用。这种演变的规模,加上所需的处理能力和能力,是数据分析自动化到2023年将发挥如此重要作用的原因。从自动执行订单的简单脚本,到自动检测异常或风险活动的复杂算法。

能够成功利用自动化的组织将能够提高生产力、更快地发现洞察力并更好地管理复杂变量。它只需要正确选择平台。数据生命周期可以自动化,但仍提供具有所需可见性级别的统一事实来源。

4.数据访问治理

数据隐私、保护和治理在世界各国政府的待办事项清单上名列前茅。

欧盟的GDPR、加拿大的PIPEDA和中国的PIPL——这些和其他国家已经表明,大规模调整立法是可能的。这种势头使数据治理和数据访问控制成为2023年业务战略的核心。

“截至2020年,全球10%的人口的个人数据受到现代隐私法规的保护。到2023年,预计全球总人口的65%的个人数据将受到隐私法规的保护。

当多个业务职能协调一致时,这些趋势将在2023年及以后带来许多机会。从外部角度来看,展示合规性可以作为品牌差异化因素,在消费者中建立信任。从内部角度来看,自动化数据治理和策略管理提高了整个企业的生产力。员工可以自由访问他们需要的数据,而无需手动检查他们是否合规。数据可以动态到达,用于聚合、共享和与其他BI工具集成。当然,它始于遵守必要法规的基本要求。以及灵活性和稳健性。当这些法规更新时,或要求对PII进行更多控制或围绕无偏差算法提高透明度时。一旦数据保护框架到位,数据治理就可以成为竞争优势。重点不是简单地控制数据,而是更多地关注需要数据的人。

5.数据民主化

到2023年,对数据民主化的需求将继续上升,要求企业摆脱传统的自上而下的数据治理方法。相反,重点将放在根据需要将数据交到尽可能多的被批准的数据消费者手中。合规数据将变得更易于访问和按需提供。而不是期望人类专业知识必须经常通过手动和冗长的过程和瓶颈来寻找数据。

这将意味着商业智能将更加面向自助服务,而不是IT的专利。随着员工越来越多地将数据纳入决策和协作,企业文化也将发生变化。

“组织越来越希望通过内部协作、跨生态系统的数据共享、直接商业化或作为AI驱动的业务决策的基础来利用其数据来获得业务优势”

低代码的兴起表明了非技术用户可以实现的目标。从生成丰富的数据可视化到构建应用程序。民主化数据——结构化和非结构化——是该过程的自然演变。在优先考虑可用性的地方,同时降低传统数据治理流程的复杂性和刚性。

人工智能和机器学习在即将到来的数据管理趋势中的作用

数据管理自动化不仅使普通业务用户能够自行执行复杂的数据相关任务,而且确保满足所有法规要求。因此,越来越多地使用AI和机器学习解决方案和工具已成为企业在日益规范的数据管理生态系统中保持相关性和合规性的必要条件。

  • 越来越多的关于地震等自然灾害的研究将依赖AI、RPA和ML驱动的大数据来进行可操作的预测。

AI和ML将完全控制从数据中心涌出的大数据——试图捕捉隐藏的关系,并在人类理解的边界内保持和投射洞察力。

  • 随着全球供应商在推出变革性AI和ML解决方案方面展开并驾齐驱的竞争,组织现在将拥有更广泛的可用解决方案选择。然而,技术和工具的广泛选择也会让企业领导者和决策者进退两难,难以做出最适合他们需求的选择。
  • 人工智能技术革命将为2023年及以后的数据分析创造新机遇。突然崛起数据分析自动化将需要企业使用人工智能、机器学习、低代码、无代码工具和更多选项来自动化尽可能多的流程。
  • 协助管理客户数据的工具也为实施创造了机会智能自动化,这是另一个值得关注的AI趋势。
  • 自动化支持数据管道的敏捷创建、管理和关闭,为任何规模或成长阶段的组织提供他们在持续集成、持续部署(CICD)框架内所需的数据可见性。
  • 到2025年,人工智能驱动,“上下文感知”分析模型将取代60%的基于传统数据构建的现有模型。

最后,业务人员可以将这些AI和ML解决方案适当地集成到他们的业务流程中,以利用组织数据功能来做出有效的决策、分析当前趋势并明确识别关键竞争优势。

有关谈谈2023年数据治理的五大趋势的更多相关文章

  1. 华为OD机试用Python实现 -【明明的随机数】 2023Q1A - 2

    华为OD机试题本篇题目:明明的随机数题目输入描述输出描述:示例1输入输出说明代码编写思路最近更新的博客华为od2023|什么是华为od,od薪资待遇,od机试题清单华为OD机试真题大全,用Python解华为机试题|机试宝典【华为OD机试】全流程解析+经验分享,题型分享,防作弊指南华为o

  2. Hive SQL 五大经典面试题 - 2

    目录第1题连续问题分析:解法:第2题分组问题分析:解法:第3题间隔连续问题分析:解法:第4题打折日期交叉问题分析:解法:第5题同时在线问题分析:解法:第1题连续问题如下数据为蚂蚁森林中用户领取的减少碳排放量iddtlowcarbon10012021-12-1212310022021-12-124510012021-12-134310012021-12-134510012021-12-132310022021-12-144510012021-12-1423010022021-12-154510012021-12-1523.......找出连续3天及以上减少碳排放量在100以上的用户分析:遇到这类

  3. 华为OD机试真题 C++ 实现【带传送阵的矩阵游离】【2023 Q2 | 200分】 - 2

            所有题目均有五种语言实现。C实现目录、C++实现目录、Python实现目录、Java实现目录、JavaScript实现目录题目n行m列的矩阵,每个位置上有一个元素你可以上下左右行走,代价是前后两个位置元素值差的绝对值.另外,你最多可以使用一次传送阵(只能从一个数跳到另外一个相同的数)求从走上角走到右下角最少需要多少时间。输入描述:第一行两个整数n,m,分别代表矩阵的行和列。后面n行,每行m个整数,分别代表矩阵中的元素。输出描述:一个整数,表示最少需要多少时间。

  4. ruby - 趋势算法 - 2

    我正在开发一个类似微论坛的项目,其中一个特殊用户发布一条快速(接近推文大小)的主题消息,订阅者可以用他们自己的类似大小的消息来响应。直截了当,没有任何形式的“挖掘”或投票,只是每个主题消息的响应按时间顺序排列。但预计会有很高的流量。我们想根据它们引起的响应嗡嗡声来标记主题消息,使用0到10的等级。在谷歌上搜索了一段时间的趋势算法和开源社区应用示例,到目前为止已经收集到两个有趣的引用资料,但我还没有完全理解它们:Understandingalgorithmsformeasuringtrends,关于使用基线趋势算法比较维基百科页面浏览量的讨论,在SO上。TheBritneySpearsP

  5. IDEA 2023.1 正式发布,新特性简介 - 2

     昨晚看到IDEA官推宣布IntelliJIDEA2023.1正式发布了。简单看了一下,发现这次的新版本包含了许多改进,进一步优化了用户体验,提高了便捷性。至于是否升级最新版本完全是个人意愿,如果觉得新版本没有让自己感兴趣的改进,完全就不用升级,影响不大。软件的版本迭代非常正常,正确看待即可,不持续改进就会慢慢被淘汰!根据官方介绍:IntelliJIDEA2023.1针对新的用户界面进行了大量重构,这些改进都是基于收到的宝贵反馈而实现的。官方还实施了性能增强措施,使得Maven导入更快,并且在打开项目时IDE功能更早地可用。由于后台提交检查,新版本提供了简化的提交流程。IntelliJIDEA

  6. 未来的趋势————以ChatGPT为标杆的AI对生活的影响是巨大的 - 2

    文章目录前言1.AI的发展历程2.我是如何接触到人工智能的概念和产品的3.对于ChatGPT的一点看法4.AI对大学毕业生的职业发展的利与弊5.对于AI的思考和问题前言随着ChatGPT的爆火,生成式AI,大模型的人工智能被越来越多的人注意到,同时他也带来了许多问题。本文将对几方面进行探讨。1.AI的发展历程远古时期在公元前第一个千禧年,中国,印度和希腊哲学家都提出了一些推理的研究理论,比如亚里士多德(Aristotle)进行了演绎推理三段论的完整分析,欧几里得(Euclid)所著Elements是一种形式推理的模型,MuḥammadibnMūsāal-Khwārizmī,发明了代数学,即我们

  7. 2023爱分析·流程中台市场厂商评估报告:微宏科技 - 2

     目录1. 研究范围定义2. 流程中台市场分析3. 厂商评估:微宏科技4. 入选证书 1.   研究范围定义近年来,随着外部市场环境快速变化、客户需求愈发多样,企业逐渐意识到,自身业务需要更加敏捷、高效,具备根据市场需求快速迭代的能力。业务流程的自动化能够帮助企业实现业务的敏捷高效,因此受到越来越多企业的关注。企业的“自动化武器库”品类丰富,包括低/零代码平台、RPA、BPM、AI等。企业可以使用多项自动化工具,但结果往往是各项自动化工具处于各自的“自动化烟囱”之中,仅能实现碎片式自动化。例如,某企业的IT团队可能在使用低代码平台、财务团队可能在使用RPA、呼叫中心则可能在使用聊天机器人。自动

  8. 连续3天3场分享,KubeVela@KubeCon EU 2023 抢鲜看! - 2

    自从2019年OpenApplicationModel诞生以来,KubeVela已经经历了几十个版本的变化,并向现代应用程序交付先进功能的方向不断发展。最近,KubeVela完成了向CNCF孵化项目的晋升,标志着社区的发展来到一个新的里程碑。今天,KubeVela社区内活跃着大量来自全球的开发者,共同推动KubeVela项目的落地和发展。在即将开幕的KubeCon+CloudNatvieConEurope2023上,我们惊喜地发现,连续3天,KubeVela项目的贡献者、企业用户和来自阿里云的核心维护者,将从不同角度展对KubeVela项目的分享。让我们先睹为快!🎙️BuildingaPlat

  9. 华为OD机试 -旋转骰子(Python) | 机试题算法思路 【2023】 - 2

    最近更新的博客华为OD机试-卡片组成的最大数字(Python)|机试题算法思路华为OD机试-网上商城优惠活动(一)(Python)|机试题算法思路华为OD机试-统计匹配的二元组个数(Python)|机试题算法思路华为OD机试-找到它(Python)|机试题算法思路华为OD机试-九宫格按键输入(Python)|机试算法备考思路华为OD机试-身高排序(Python)|备考思路使用说明参加华为od机试,一定要注意不要完全背诵代码,需要理解之后模仿写出,通过率才会高。华为OD清单查看地址:blog.csdn.net/hihell/catego

  10. 2023年6月DAMA-CDGP数据治理专家认证请尽快报名啦! - 2

    目前6月DAMA-CDGP数据治理认证考试开放报名地区有:北京、上海、广州、深圳、长沙、呼和浩特。目前南京、济南、西安、杭州等地区还在接近开考人数中,打算参加6月考试的朋友们可以抓紧时间报名啦!!!5月初,DAMA-CDGA/CDGP数据治理认证考前班也即将开班啦!报名从速!!!DAMA认证为数据管理专业人士提供职业目标晋升规划,彰显了职业发展里程碑及发展阶梯定义,帮助数据管理从业人士获得企业数字化转型战略下的必备职业能力,促进开展工作实践应用及实际问题解决,形成企业所需的新数字经济下的核心职业竞争能力。DAMA是数据管理方面的认证,帮助数据从业者提升数据管理能力。CDGP数据治理专家认证属于

随机推荐