草庐IT

谈谈2023年十个大数据建设趋势

晓晓 2023-03-28 原文
2023年数据将继续在商业行业和经济体中流动。有了更多的渠道、更快的速度和包含更多的洞察力,组织将别无选择,只能向数据驱动的业务模型发展。企业领导者面临的问题是:它是积极主动和动态的——还是更加被动并参与追赶?

前几年可能意味着数据泛滥使处理和提取见解变得更加困难。在大数据挑战更多围绕存储和安全性的时代。现在情况正在发生巨大变化。我们看到越来越多的组织开始意识到其数据驱动的潜力。成功的用例广泛且跨行业。

随着数据价值达到新高,管理数据驱动决策的基本规则没有改变。要做出正确的决策,您需要高质量的数据。您需要知道您拥有什么、它位于何处、它的沿袭是什么以及哪些业务规则决定了它的结构、内容和有效性。如果您的数据质量低下或您的数据资产管理不善,那么您将无法使用它们做出正确的业务决策。

随着数据的作用和数据驱动的决策制定的增加,以及可用数据的总体数量和速度的增长,数据治理也在不断发展,以满足不断变化的业务需求。2023年数据治理的最大趋势是什么?

“到2025年,30%的Gartner客户将使用“需要共享”方法而不是传统的“需要知道”方法来保护他们的数据。“

1.云数据治理

从远程工作到人工智能,云继续支撑着现代商业的重塑。超过70%的组织已将至少部分工作负载迁移到公共云中。然而,成为云原生的竞争并非没有风险,从预算超支到迁移延迟。

“效率低下导致平均每年公司的迁移支出比计划多14%,而且38%的公司的迁移延迟超过四分之一。”

------麦肯锡

DevOps人才的持续短缺将加剧迁移和生态系统的挑战。尤其是在受到高度监管的行业中,传统和本地基础设施占很大比重,不同的工作负载不太适合“提升和转移”方法。组织将需要寻找其他方法来保持竞争力,例如自动化和自助数据分析。

这些基于云的管理系统提供了一种转换原始数据并在正确的时间将其交付给正确的用户的方法。无需IT或数据分析师先准备报告。相反,可以按需存储和访问大量数据。超越使用数据仓库的传统和静态方法,而是为每个用户及其相关用例带来可定制的仪表板。

至关重要的是,基于云的服务现在越来越多地得到AI和ML产品的支持。这些释放了企业应用人工智能优化现有流程的潜力,例如通过自动化工作流程。还可以根据历史请求应用学习元素,确保现代数据治理的持续改进周期。

2.自适应人工智能

在当今瞬息万变的世界中,“一切照旧”的概念要求提高灵活性、活力和适应生存的准备。预计2023年将通过自适应人工智能的兴起来实现这一点。系统根据新数据不断学习、调整和重新训练模型。它不同于传统的和更静态的人工智能,后者需要人类开发人员更新模型并防止它们变得过时或过时。

通过有效地“内置”持续学习,人工智能将需要更少的人工干预。更重要的是,从数据中自适应学习的能力将产生新的见解来支持执行决策,从而使企业能够引入应用可观察性。这是可以分析基于AI的决策以获得进一步建议的地方。然后可以创建一个反馈循环来跟踪以前的结果。由此产生的基于证据的见解可用于提高预测的准确性并为未来的战略提供信息。

“到2026年,采用AI工程实践来构建和管理自适应AI系统的企业将在运行人工智能模型所需的数量和时间上超过同行至少25%。

------Gartner

自适应人工智能有可能解决机器学习模型带来的一些历史挑战。在离群值经常影响训练数据的情况下,每次迭代都会以指数方式扭曲结果,而不是被忽视。当然,真正新颖的观察或现实世界变化的影响可能很容易在小数据集中检测到。而在AI所需的数量中,此类异常值更难确定。因此,自适应人工智能可以降低这种算法偏差的风险。通过动态调整流程,自适应人工智能还可以通过应用更智能的自动化来帮助企业确保更有效的治理。

3、实时数据

数据使企业保持运转,但实时数据提供了竞争优势。从以毫秒为单位进行交易的金融机构到批准付款和处理PII的电子商务商店。在按需自助服务体验的推动下,对实时数据的进一步需求将来自不断提高的客户期望。与批量数据管道相比,创建实时数据管道还可以降低处理成本。批处理数据必须从源头反复查询,而实时只需要对新数据或事件做出反应。

一些用例只需要基于批处理的管道来处理历史数据。然而,随着数据集和相关的治理要求越来越大,许多组织将不得不进行一些大型基础设施调用。这种演变的规模,加上所需的处理能力和能力,是数据分析自动化到2023年将发挥如此重要作用的原因。从自动执行订单的简单脚本,到自动检测异常或风险活动的复杂算法。

能够成功利用自动化的组织将能够提高生产力、更快地发现洞察力并更好地管理复杂变量。它只需要正确选择平台。数据生命周期可以自动化,但仍提供具有所需可见性级别的统一事实来源。

4.数据访问治理

数据隐私、保护和治理在世界各国政府的待办事项清单上名列前茅。

欧盟的GDPR、加拿大的PIPEDA和中国的PIPL——这些和其他国家已经表明,大规模调整立法是可能的。这种势头使数据治理和数据访问控制成为2023年业务战略的核心。

“截至2020年,全球10%的人口的个人数据受到现代隐私法规的保护。到2023年,预计全球总人口的65%的个人数据将受到隐私法规的保护。

当多个业务职能协调一致时,这些趋势将在2023年及以后带来许多机会。从外部角度来看,展示合规性可以作为品牌差异化因素,在消费者中建立信任。从内部角度来看,自动化数据治理和策略管理提高了整个企业的生产力。员工可以自由访问他们需要的数据,而无需手动检查他们是否合规。数据可以动态到达,用于聚合、共享和与其他BI工具集成。当然,它始于遵守必要法规的基本要求。以及灵活性和稳健性。当这些法规更新时,或要求对PII进行更多控制或围绕无偏差算法提高透明度时。一旦数据保护框架到位,数据治理就可以成为竞争优势。重点不是简单地控制数据,而是更多地关注需要数据的人。

5.数据民主化

到2023年,对数据民主化的需求将继续上升,要求企业摆脱传统的自上而下的数据治理方法。相反,重点将放在根据需要将数据交到尽可能多的被批准的数据消费者手中。合规数据将变得更易于访问和按需提供。而不是期望人类专业知识必须经常通过手动和冗长的过程和瓶颈来寻找数据。

这将意味着商业智能将更加面向自助服务,而不是IT的专利。随着员工越来越多地将数据纳入决策和协作,企业文化也将发生变化。

“组织越来越希望通过内部协作、跨生态系统的数据共享、直接商业化或作为AI驱动的业务决策的基础来利用其数据来获得业务优势”

低代码的兴起表明了非技术用户可以实现的目标。从生成丰富的数据可视化到构建应用程序。民主化数据——结构化和非结构化——是该过程的自然演变。在优先考虑可用性的地方,同时降低传统数据治理流程的复杂性和刚性。

人工智能和机器学习在即将到来的数据管理趋势中的作用

数据管理自动化不仅使普通业务用户能够自行执行复杂的数据相关任务,而且确保满足所有法规要求。因此,越来越多地使用AI和机器学习解决方案和工具已成为企业在日益规范的数据管理生态系统中保持相关性和合规性的必要条件。

  • 越来越多的关于地震等自然灾害的研究将依赖AI、RPA和ML驱动的大数据来进行可操作的预测。
AI和ML将完全控制从数据中心涌出的大数据——试图捕捉隐藏的关系,并在人类理解的边界内保持和投射洞察力。

  • 随着全球供应商在推出变革性AI和ML解决方案方面展开并驾齐驱的竞争,组织现在将拥有更广泛的可用解决方案选择。然而,技术和工具的广泛选择也会让企业领导者和决策者进退两难,难以做出最适合他们需求的选择。
  • 人工智能技术革命将为2023年及以后的数据分析创造新机遇。突然崛起数据分析自动化将需要企业使用人工智能、机器学习、低代码、无代码工具和更多选项来自动化尽可能多的流程。
  • 协助管理客户数据的工具也为实施创造了机会智能自动化,这是另一个值得关注的AI趋势。
  • 自动化支持数据管道的敏捷创建、管理和关闭,为任何规模或成长阶段的组织提供他们在持续集成、持续部署(CICD)框架内所需的数据可见性。
  • 到2025年,人工智能驱动,“上下文感知”分析模型将取代60%的基于传统数据构建的现有模型。
最后,业务人员可以将这些AI和ML解决方案适当地集成到他们的业务流程中,以利用组织数据功能来做出有效的决策、分析当前趋势并明确识别关键竞争优势。

有关谈谈2023年十个大数据建设趋势的更多相关文章

  1. ruby - 解析 RDFa、微数据等的最佳方式是什么,使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2

    我主要使用Ruby来执行此操作,但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式,例如使用这个yaml文件,它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i

  2. ruby - Ruby 有 `Pair` 数据类型吗? - 2

    有时我需要处理键/值数据。我不喜欢使用数组,因为它们在大小上没有限制(很容易不小心添加超过2个项目,而且您最终需要稍后验证大小)。此外,0和1的索引变成了魔数(MagicNumber),并且在传达含义方面做得很差(“当我说0时,我的意思是head...”)。散列也不合适,因为可能会不小心添加额外的条目。我写了下面的类来解决这个问题:classPairattr_accessor:head,:taildefinitialize(h,t)@head,@tail=h,tendend它工作得很好并且解决了问题,但我很想知道:Ruby标准库是否已经带有这样一个类? 最佳

  3. ruby - 我如何添加二进制数据来遏制 POST - 2

    我正在尝试使用Curbgem执行以下POST以解析云curl-XPOST\-H"X-Parse-Application-Id:PARSE_APP_ID"\-H"X-Parse-REST-API-Key:PARSE_API_KEY"\-H"Content-Type:image/jpeg"\--data-binary'@myPicture.jpg'\https://api.parse.com/1/files/pic.jpg用这个:curl=Curl::Easy.new("https://api.parse.com/1/files/lion.jpg")curl.multipart_form_

  4. 世界前沿3D开发引擎HOOPS全面讲解——集3D数据读取、3D图形渲染、3D数据发布于一体的全新3D应用开发工具 - 2

    无论您是想搭建桌面端、WEB端或者移动端APP应用,HOOPSPlatform组件都可以为您提供弹性的3D集成架构,同时,由工业领域3D技术专家组成的HOOPS技术团队也能为您提供技术支持服务。如果您的客户期望有一种在多个平台(桌面/WEB/APP,而且某些客户端是“瘦”客户端)快速、方便地将数据接入到3D应用系统的解决方案,并且当访问数据时,在各个平台上的性能和用户体验保持一致,HOOPSPlatform将帮助您完成。利用HOOPSPlatform,您可以开发在任何环境下的3D基础应用架构。HOOPSPlatform可以帮您打造3D创新型产品,HOOPSSDK包含的技术有:快速且准确的CAD

  5. 华为OD机试用Python实现 -【明明的随机数】 2023Q1A - 2

    华为OD机试题本篇题目:明明的随机数题目输入描述输出描述:示例1输入输出说明代码编写思路最近更新的博客华为od2023|什么是华为od,od薪资待遇,od机试题清单华为OD机试真题大全,用Python解华为机试题|机试宝典【华为OD机试】全流程解析+经验分享,题型分享,防作弊指南华为o

  6. FOHEART H1数据手套驱动Optitrack光学动捕双手运动(Unity3D) - 2

    本教程将在Unity3D中混合Optitrack与数据手套的数据流,在人体运动的基础上,添加双手手指部分的运动。双手手背的角度仍由Optitrack提供,数据手套提供双手手指的角度。 01  客户端软件分别安装MotiveBody与MotionVenus并校准人体与数据手套。MotiveBodyMotionVenus数据手套使用、校准流程参照:https://gitee.com/foheart_1/foheart-h1-data-summary.git02  数据转发打开MotiveBody软件的Streaming,开始向Unity3D广播数据;MotionVenus中设置->选项选择Unit

  7. 使用canal同步MySQL数据到ES - 2

    文章目录一、概述简介原理模块二、配置Mysql使用版本环境要求1.操作系统2.mysql要求三、配置canal-server离线下载在线下载上传解压修改配置单机配置集群配置分库分表配置1.修改全局配置2.实例配置垂直分库水平分库3.修改group-instance.xml4.启动监听四、配置canal-adapter1修改启动配置2配置映射文件3启动ES数据同步查询所有订阅同步数据同步开关启动4.验证五、配置canal-admin一、概述简介canal是Alibaba旗下的一款开源项目,Java开发。基于数据库增量日志解析,提供增量数据订阅&消费。Git地址:https://github.co

  8. ruby-on-rails - 创建 ruby​​ 数据库时惰性符号绑定(bind)失败 - 2

    我正在尝试在Rails上安装ruby​​,到目前为止一切都已安装,但是当我尝试使用rakedb:create创建数据库时,我收到一个奇怪的错误:dyld:lazysymbolbindingfailed:Symbolnotfound:_mysql_get_client_infoReferencedfrom:/Library/Ruby/Gems/1.8/gems/mysql2-0.3.11/lib/mysql2/mysql2.bundleExpectedin:flatnamespacedyld:Symbolnotfound:_mysql_get_client_infoReferencedf

  9. STM32读取串口传感器数据(颗粒物传感器,主动上传) - 2

    文章目录1.开发板选择*用到的资源2.串口通信(个人理解)3.代码分析(注释比较详细)1.主函数2.串口1配置3.串口2配置以及中断函数4.注意问题5.源码链接1.开发板选择我用的是STM32F103RCT6的板子,不过代码大概在F103系列的板子上都可以运行,我试过在野火103的霸道板上也可以,主要看一下串口对应的引脚一不一样就行了,不一样的就更改一下。*用到的资源keil5软件这里用到了两个串口资源,采集数据一个,串口通信一个,板子对应引脚如下:串口1,TX:PA9,RX:PA10串口2,TX:PA2,RX:PA32.串口通信(个人理解)我就从串口采集传感器数据这个过程说一下我自己的理解,

  10. SPI接收数据异常问题总结 - 2

    SPI接收数据左移一位问题目录SPI接收数据左移一位问题一、问题描述二、问题分析三、探究原理四、经验总结最近在工作在学习调试SPI的过程中遇到一个问题——接收数据整体向左移了一位(1bit)。SPI数据收发是数据交换,因此接收数据时从第二个字节开始才是有效数据,也就是数据整体向右移一个字节(1byte)。请教前辈之后也没有得到解决,通过在网上查阅前人经验终于解决问题,所以写一个避坑经验总结。实际背景:MCU与一款芯片使用spi通信,MCU作为主机,芯片作为从机。这款芯片采用的是它规定的六线SPI,多了两根线:RDY和INT,这样从机就可以主动请求主机给主机发送数据了。一、问题描述根据从机芯片手

随机推荐