草庐IT

云原生在管理大数据应用程序中将起到什么作用？

Harris编译 2023-03-28 原文
大数据和云原生是目前IT专业人士最关心的两大技术。云原生是关于架构的，而大数据是关于管理海量数据的。然而，大数据和云计算技术被业界广泛接受的根本驱动力是它们提供的简单性。很多企业受益于两者的融合。

本文将讨论大数据和云原生技术，还将讨论云原生对大数据的重要性。

什么是云原生?

创建在云中设计的一种任务并充分利用云计算集成服务模型来使用云原生基础设施和技术的方法。

云原生强调快速和灵活性。企业行业正在从为增强能力提供解决方案转变为为战略转型提供解决方案，从而加快业务的发展速度。

有三种类型的云原生:

（1）公共云

跨企业共享并通过互联网提供的原生云被称为公共云。公共云是使用最广泛的原生云服务类型，为企业移动解决方案和处理资源提供了广泛的选择，以满足各种规模和行业的企业不断扩大的需求。

（2）私有云

任何仅供一家企业使用的云服务都被称为私有云。在使用私有云时，企业不会与任何其他公司共享云原生资源。

数据中心资源可以在那里找到，也可以由不同的供应商在场外运行。计算资源不是在其他客户机之间共享的，而是通过加密连接网络提供的。

私有云可以根据企业特定的业务和安全需求进行定制。

（3）混合云

任何结合了公共云和私有云服务的云技术架构都被称为混合云。

通常情况下，这些服务是作为集成基础设施环境的一部分进行协调的。根据企业的业务和技术需求，应用程序和数据工作流可以在公共云部署和私有云部署之间划分资源。

既然已经了解了云原生，以下讨论大数据。

什么是大数据?

数据就在我们身边，大数据是所有数据的集合。它包括企业在其整个运营生命周期中收集的数据，无论是完全结构化的、适度结构化的还是非结构化的。

由于数据集通常非常大，传统的数据分析软件无法处理它。因此，需要复杂的工具和方法来从大数据中提取价值。

它创建数据集，然后进一步处理、分析和管理，从数据集中提取见解和结果;大数据技术是数据分析的基础。

大数据包含几个必须考虑的基本组成部分

?数量:这个术语用来描述正在积累的数据量，并且为其传输、存储和分析提供了越来越大的难度。通常是几TB或更多数据。

?速度:这个术语用来描述新数据产生的速度和数据传输的速度。许多公司现在能够以惊人的速度收集数据。自动驾驶汽车、智能电表、智能家电、工业传感器和其他设备可以非常快速地生成和发送数据。

?多样性:包括有组织的(如用户资料或销售数据)和无组织的(如社交媒体帖子、电子邮件、语音信息、视频等)。

?准确性:数据源的来源或可靠性、其设置以及数据对业务的重要性都要考虑在内。大数据使得质量和准确性管理更加困难。

价值:将数据转化为有用资产的能力称为价值。企业在试图收集和使用大数据之前必须提出一个案例。

既然已经概述了大数据和云原生，现在继续讨论这两种技术之间的联系:。

大数据和云原生这两种技术之间的联系

数字转换服务在云原生中执行复杂和大规模的计算。它消除了管理昂贵的计算硬件、专用存储和软件的需求。云原生技术导致了数据量(或大数据)的巨大增长。为了成功地处理和分析大数据，这是一项困难和耗时的操作，需要相当大的计算机基础设施。

与硬件资源的数字化“云原生”相比，大数据可以被认为是对大量数据的难以置信的高效处理。从未来的发展趋势来看，云原生将作为计算资源的基础层，辅助顶层的大数据处理。未来大数据将更专注于提高数据分析能力和实时交互查询性能。

云原生在管理大数据应用中的作用

企业需要一种有效的方法来维护他们正在收集的越来越多的数据，而在线管理系统的最新最佳实践之一就是将数据保存在云端。

大数据是从广泛的基于网络的系统中收集的综合数据。这些数据通过云进行分析和访问，通常使用软件即服务(SaaS)范式，并利用人工智能和机器学习向用户提供信息。

大数据和云数据协同工作，因为云架构使得存储数据、实时分析数据、快速批量分析数据成为可能。对大数据采用云存储的主要优势是可扩展能力，因为它可以在现收现付的基础上使用。从本质上讲，云是一个提供、维护并为用户提供有效访问和分析大数据机会的系统。数据存储、组织和分析是挑战。

云原生和大数据一起寻找可行的替代方案

（1）可扩展性

传统的商业数据中心需要更多的空间、电力、冷却或资金来购买和安装创建大数据基础设施所需的大量硬件。相比之下，公共云监控着分散在全球数据中心网络中的数千台机器。用户可以为几乎任何规模的大数据项目构建架构，因为硬件和软件服务已经可用。

（2）存储

海量数据的存储是主要问题之一。物理基础设施不足以适当地处理如此庞大的数据量。即使容量不是问题，由于物理存储的可扩展性，客户仍然可能需要帮助。

云原生提供可靠、安全、灵活的存储设施来存储和检索大量数据。由于去中心化和消除了物理基础设施，这些远程存储减轻了用户的维护职责。

可扩展性不是问题，因为云存储服务是基于现收现付的，而且这种存储可以根据用户的需要随时提高或降低。

（3）分析

由于云技术的发展，大数据分析变得更好，产生了更好的结果。许多基于云的存储替代方案都内置了云分析，可以深入了解您的数据。当数据在云中时，您可以快速实现监控系统并制作自定义报告以评估整个组织的数据。

你可以在这些结果的基础上提高生产力并制定行动计划来实现公司的目标。正因为如此，公司决定在云中执行大数据分析。云技术使得整合来自不同来源的数据变得更加容易。

（4）成本

企业运营数据中心是一项重大的资本支出。除了硬件之外，企业还必须在场地、电力、日常维护等方面花钱。云计算在动态租赁模式下计算所有这些费用，其中资源和服务按使用付费，并按需提供。

（5）减少复杂性

任何大数据解决方案的安装都需要大量的部件和集成。通过提供自动化这些元素的能力，云原生降低了复杂性，提高了负责大量数据分析的团队的整体性能。

（6）弹性

云平台可以无缝扩展其存储容量，以适应不断增长的数据。一旦公司从数据中获得了适当的信息，就可以根据需要增加或减少存储容量来处理数据。

结论

随着企业在大数据方面的创新和扩展，云计算的采用正在增长。另一方面，人们只专注于收集数据，因为他们可以使用云原生来检查数据并提供经济价值。大数据和云原生都对现代生活产生了重大影响。

企业可以学习如何通过合并这两种方法来增强当前的业务流程。此外，它可以帮助任何企业利用竞争对手并确保可持续性。由于采用了现收现付的云原生模式，企业访问数据和开启颠覆性创新的障碍更少了。

大数起到hce1b的云计算云原生$云原生大数据

有关云原生在管理大数据应用程序中将起到什么作用？的更多相关文章

  1. ruby - 为什么我可以在 Ruby 中使用 Object#send 访问私有(private)/ protected 方法？ - 2

    类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc

  2. ruby-on-rails - 在 Rails 中将文件大小字符串转换为等效千字节 - 2

    我的目标是转换表单输入，例如“100兆字节”或“1GB”，并将其转换为我可以存储在数据库中的文件大小(以千字节为单位)。目前，我有这个:defquota_convert@regex=/([0-9]+)(.*)s/@sizes=%w{kilobytemegabytegigabyte}m=self.quota.match(@regex)if@sizes.include?m[2]eval("self.quota=#{m[1]}.#{m[2]}")endend这有效，但前提是输入是倍数(“gigabytes”，而不是“gigabyte”)并且由于使用了eval看起来疯狂不安全。所以，功能正常，

  3. ruby - i18n Assets 管理/翻译 UI - 2

    我正在使用i18n从头开始​​构建一个多语言网络应用程序，虽然我自己可以处理一大堆yml文件，但我说的语言(非常)有限，最终我想寻求外部帮助帮助。我想知道这里是否有人在使用UI插件/gem(与django上的django-rosetta不同)来处理多个翻译器，其中一些翻译器不愿意或无法处理存储库中的100多个文件，处理语言数据。谢谢&问候，安德拉斯(如果您已经在ruby​​onrails-talk上遇到了这个问题，我们深表歉意) 最佳答案 有一个rails3branchofthetolkgem在github上。您可以通过在Gemfi

  4. ruby-on-rails - Rails - 子类化模型的设计模式是什么？ - 2

    我有一个模型:classItem项目有一个属性“商店”基于存储的值，我希望Item对象对特定方法具有不同的行为。Rails中是否有针对此的通用设计模式？如果方法中没有大的if-else语句，这是如何干净利落地完成的？ 最佳答案 通常通过Single-TableInheritance. 关于ruby-on-rails-Rails-子类化模型的设计模式是什么？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.co

  5. ruby - 什么是填充的 Base64 编码字符串以及如何在 ruby​​ 中生成它们？ - 2

    我正在使用的第三方API的文档状态:"[O]urAPIonlyacceptspaddedBase64encodedstrings."什么是“填充的Base64编码字符串”以及如何在Ruby中生成它们。下面的代码是我第一次尝试创建转换为Base64的JSON格式数据。xa=Base64.encode64(a.to_json) 最佳答案 他们说的padding其实就是Base64本身的一部分。它是末尾的“=”和“==”。Base64将3个字节的数据包编码为4个编码字符。所以如果你的输入数据有长度n和n%3=1=>"=="末尾用于填充n%

  6. ruby - 解析 RDFa、微数据等的最佳方式是什么，使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2

    我主要使用Ruby来执行此操作，但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式，例如使用这个yaml文件，它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i

  7. ruby - 为什么 4.1%2 使用 Ruby 返回 0.0999999999999996？但是 4.2%2==0.2 - 2

    为什么4.1%2返回0.0999999999999996？但是4.2%2==0.2。 最佳答案 参见此处:WhatEveryProgrammerShouldKnowAboutFloating-PointArithmetic实数是无限的。计算机使用的位数有限(今天是32位、64位)。因此计算机进行的浮点运算不能代表所有的实数。0.1是这些数字之一。请注意，这不是与Ruby相关的问题，而是与所有编程语言相关的问题，因为它来自计算机表示实数的方式。 关于ruby-为什么4.1%2使用Ruby返

  8. ruby-on-rails - Rails 应用程序之间的通信 - 2

    我构建了两个需要相互通信和发送文件的Rails应用程序。例如，一个Rails应用程序会发送请求以查看其他应用程序数据库中的表。然后另一个应用程序将呈现该表的json并将其发回。我还希望一个应用程序将存储在其公共(public)目录中的文本文件发送到另一个应用程序的公共(public)目录。我从来没有做过这样的事情，所以我什至不知道从哪里开始。任何帮助，将不胜感激。谢谢! 最佳答案 无论Rails是什么，几乎所有Web应用程序都有您的要求，大多数现代Web应用程序都需要相互通信。但是有一个小小的理解需要你坚持下去，网站不应直接访问彼此

  9. ruby - 无法运行 Rails 2.x 应用程序 - 2

    我尝试运行2.x应用程序。我使用rvm并为此应用程序设置其他版本的ruby​​:$rvmuseree-1.8.7-head我尝试运行服务器，然后出现很多错误:$script/serverNOTE:Gem.source_indexisdeprecated,useSpecification.Itwillberemovedonorafter2011-11-01.Gem.source_indexcalledfrom/Users/serg/rails_projects_terminal/work_proj/spohelp/config/../vendor/rails/railties/lib/r

  10. ruby-on-rails - Rails 应用程序中的 Rails : How are you using application_controller. rb 是新手吗？ - 2

    刚入门rails，开始慢慢理解。有人可以解释或给我一些关于在application_controller中编码的好处或时间和原因的想法吗？有哪些用例。您如何为Rails应用程序使用应用程序Controller？我不想在那里放太多代码，因为据我了解，每个请求都会调用此Controller。这是真的？ 最佳答案 ApplicationController实际上是您应用程序中的每个其他Controller都将从中继承的类(尽管这不是强制性的)。我同意不要用太多代码弄乱它并保持干净整洁的态度，尽管在某些情况下ApplicationContr

随机推荐