草庐IT

【clickhouse专栏】数据库、数据仓库之间的区别与联系

字母哥课堂 2023-03-28 原文

从本篇文章开始，笔者打算写一个系列的《clickhouse专栏》，其全称是Click Stream,Data WareHouse，简称ClickHouse。从其全称中的“Data WareHouse”，我们可以看出clickhouse的定位是数据仓库。那么“数据仓库”和“数据库”有什么区别呢？理解这点这很重要，理解了二者的区别，你就可以正确的将clickhouse用到其合适的应用场景。

一、OLTP与OLAP

在理解"数据仓库"与“数据库”的区别之前，我们需要先说明两个术语，即：OLTP与OLAP。

  • OLTP（on-line transaction processing）联机事务处理：通常指的是面向传统应用服务的关系型数据库，用户通过web界面操作实时“增删改查”数据库里面的数据。包含核心的基本的事务处理逻辑，用户对于性能的要求很高，用户点击界面之后，响应时间最低要求在5秒之内（通常3秒以内），同时需要支持比较高的用户并发度。OLTP的数据操作通常面向的是1条或几条少量数据，比如：用户下单操作该用户的购物车、支付记录、积分记录等少量数据。
  • OLAP（On-Line Analytical Processing）联机分析处理：面向的应用主要是执行复杂的数据分析操作，侧重于决策支撑，通过图形报表展现直观易动的数据分析结果。对于响应时间的要求相对宽松，数据分析过程通常不支持用户高并发，但数据分析的结果支持用户的高并发访问。OLAP面向的通常是批量数据操作，数据按批次进行导入、分析等操作，OLAP系统通常结合ETL(抽取（extract）、转换（transform）、加载（load）)系统进行使用。

理解上面的两个数据，剩下的就简单多了，数据库通常面向OLTP操作，数据仓库通常面向OLAP操作。OLTP侧重于保存及变更数据的当前状态，而数据仓库侧重于保存数据的历史存档。比如：用户银行转账，OLTP数据库侧重于管理用户当前账户里的剩余金额，和转账过程对方账户金额入账的数据一致性；而OLAP数据仓库侧重于记录谁进行了转账、转了多少钱、钱转到了哪里。历史上该用户习惯在什么时间转账，月初还是月末？一个月转账几次？

二、数据仓库的特点

下面的是数据仓库的几个典型特点：

  • 关注于记录数据变化的过程，而不是数据当前的状态。
  • 读多写少
  • 大宽表
  • 数据批量操作，不更新或很少更新
  • 不支持事务

有的工作经验相对少的朋友看了这几条会说：“这哪是什么特点，这都是缺点啊！” 。不更新或很少更新，读多写少都是场景限制，大宽表破坏数据库设计范式，不支持事务那还叫什么数据库？其实不然，在OLAP的场景下，这些恰恰是它为了保障数据分析的性能所进行特殊设计的特点。我给大家举几个例子：

  • 比如：某云厂商按周期采集服务器的运行指标，比如：内存使用率、CPU使用率等等。这些指标都是批量采集、批量入库的，一旦入库就不会再去修改。通常也不会将内存指标建立一张表、CPU使用率建一张表，而是对于同一机房的服务器建一张表，这张表以时间维度包含各种指标。比如：查询内存使用率>80,CPU使用率>70的服务器的时候，就不会两表关联查询了，查询一张宽表就可以了，数据分析的性能飞跃式提升。不支持事务，通常OLAP系统不支持事务，因为事务会在一定程度上影响数据操作的性能。数据入库之后，需要针对这些指标不断地进行分析、挖掘，即：读多写少，基本上就批量写一次后续都是读数据操作。
  • 又比如：股票实时交易数据，关注于记录数据变化的过程，而不是数据当前的状态。所有股票的所有历史数据一旦进入数据仓库之后，就不会发生修改。可以进行股票量化交易分析。
  • 又比如：用户商品点击量数据、用户操作行为数据、用户网页浏览时长数据等等，这些数据都是对用户进行分析所需要的数据，一旦入库不会修改。可以进行用户买卖意愿行为分析。

其实还有很多这种类型的数据，这种数据的特点就是：数据量大、产生之后不会发生变化（那一个时间刻度的数据就不会发生变化）。因此，数据仓库通常面向的是吞吐量大的历史数据进行存档、不会在做更新删除操作的这种数据场景，数据存档之后通常只面向数据查询分析。

三、数据库与数据仓库结合使用

通常一个较大型的应用服务系统，既有数据库，也有数据仓库。数据库面向用户进行联机事务处理，处理用户界面的实时操作。数据仓库的数据面向决策管理层，提供数据及图形报表，提供变化多样的数据分析决策。



上图是一个典型的数据库与数据仓库同时存在的应用服务场景

  • 互联网用户通过应用服务产生用户行为，对数据库进行OLTP操作
  • 应用服务把用户的操作的行为发送给消息队列，消息队列将数据导入数据仓库
  • 数据库的数据可以通过ETL抽取、处理、转换、整合到数据仓库
  • 决策分析系统主要面向数据仓库进行数据分析，数据分析结果可以回馈到数据库，通过应用服务面向互联网用户提供数据分析结果查看能力
  • 决策分析系统同时对应用服务的决策管理者，提供数据分析决策支撑能力

推荐阅读

限于博文篇幅，更多精彩内容我就不一一列举了，推荐阅读
《原创精品视频及配套文档：springboot-已录制97节(免费)》
等等等等

clickhouse专栏数据的li

有关【clickhouse专栏】数据库、数据仓库之间的区别与联系的更多相关文章

  1. ruby - 解析 RDFa、微数据等的最佳方式是什么，使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2

    我主要使用Ruby来执行此操作，但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式，例如使用这个yaml文件，它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i

  2. ruby-on-rails - Rails 应用程序之间的通信 - 2

    我构建了两个需要相互通信和发送文件的Rails应用程序。例如，一个Rails应用程序会发送请求以查看其他应用程序数据库中的表。然后另一个应用程序将呈现该表的json并将其发回。我还希望一个应用程序将存储在其公共(public)目录中的文本文件发送到另一个应用程序的公共(public)目录。我从来没有做过这样的事情，所以我什至不知道从哪里开始。任何帮助，将不胜感激。谢谢! 最佳答案 无论Rails是什么，几乎所有Web应用程序都有您的要求，大多数现代Web应用程序都需要相互通信。但是有一个小小的理解需要你坚持下去，网站不应直接访问彼此

  3. ruby - 触发器 ruby​​ 中 3 点范围运算符和 2 点范围运算符的区别 - 2

    请帮助我理解范围运算符...和..之间的区别，作为Ruby中使用的“触发器”。这是PragmaticProgrammersguidetoRuby中的一个示例:a=(11..20).collect{|i|(i%4==0)..(i%3==0)?i:nil}返回:[nil,12,nil,nil,nil,16,17,18,nil,20]还有:a=(11..20).collect{|i|(i%4==0)...(i%3==0)?i:nil}返回:[nil,12,13,14,15,16,17,18,nil,20] 最佳答案 触发器(又名f/f)是

  4. ruby - ＃之间？ Cooper 的 *Beginning Ruby* 中的错误或异常 - 2

    在Cooper的书BeginningRuby中，第166页有一个我无法重现的示例。classSongincludeComparableattr_accessor:lengthdef(other)@lengthother.lengthenddefinitialize(song_name,length)@song_name=song_name@length=lengthendenda=Song.new('Rockaroundtheclock',143)b=Song.new('BohemianRhapsody',544)c=Song.new('MinuteWaltz',60)a.betwee

  5. ruby - Ruby 有 `Pair` 数据类型吗？ - 2

    有时我需要处理键/值数据。我不喜欢使用数组，因为它们在大小上没有限制(很容易不小心添加超过2个项目，而且您最终需要稍后验证大小)。此外，0和1的索引变成了魔数(MagicNumber)，并且在传达含义方面做得很差(“当我说0时，我的意思是head...”)。散列也不合适，因为可能会不小心添加额外的条目。我写了下面的类来解决这个问题:classPairattr_accessor:head,:taildefinitialize(h,t)@head,@tail=h,tendend它工作得很好并且解决了问题，但我很想知道:Ruby标准库是否已经带有这样一个类？ 最佳

  6. ruby-on-rails - `a ||= b` 和 `a = b if a.nil 之间的区别？ - 2

    我正在检查一个Rails项目。在ERubyHTML模板页面上，我看到了这样几行:我不明白为什么不这样写:在这种情况下，||=和ifnil?有什么区别？ 最佳答案 在这种特殊情况下没有区别，但可能是出于习惯。每当我看到nil?被使用时，它几乎总是使用不当。在Ruby中，很少有东西在逻辑上是假的，只有文字false和nil是。这意味着像if(!x.nil?)这样的代码几乎总是更好地表示为if(x)除非期望x可能是文字false。我会将其切换为||=false，因为它具有相同的结果，但这在很大程度上取决于偏好。唯一的缺点是赋值会在每次运行

  7. ruby - 这两个 Ruby 类初始化定义有什么区别？ - 2

    我正在阅读一本关于Ruby的书，作者在编写类初始化定义时使用的形式与他在本书前几节中使用的形式略有不同。它看起来像这样:classTicketattr_accessor:venue,:datedefinitialize(venue,date)self.venue=venueself.date=dateendend在本书的前几节中，它的定义如下:classTicketattr_accessor:venue,:datedefinitialize(venue,date)@venue=venue@date=dateendend在第一个示例中使用setter方法与在第二个示例中使用实例变量之间是

  8. ruby - 我如何添加二进制数据来遏制 POST - 2

    我正在尝试使用Curbgem执行以下POST以解析云curl-XPOST\-H"X-Parse-Application-Id:PARSE_APP_ID"\-H"X-Parse-REST-API-Key:PARSE_API_KEY"\-H"Content-Type:image/jpeg"\--data-binary'@myPicture.jpg'\https://api.parse.com/1/files/pic.jpg用这个:curl=Curl::Easy.new("https://api.parse.com/1/files/lion.jpg")curl.multipart_form_

  9. 世界前沿3D开发引擎HOOPS全面讲解——集3D数据读取、3D图形渲染、3D数据发布于一体的全新3D应用开发工具 - 2

    无论您是想搭建桌面端、WEB端或者移动端APP应用，HOOPSPlatform组件都可以为您提供弹性的3D集成架构，同时，由工业领域3D技术专家组成的HOOPS技术团队也能为您提供技术支持服务。如果您的客户期望有一种在多个平台（桌面/WEB/APP，而且某些客户端是“瘦”客户端）快速、方便地将数据接入到3D应用系统的解决方案，并且当访问数据时，在各个平台上的性能和用户体验保持一致，HOOPSPlatform将帮助您完成。利用HOOPSPlatform，您可以开发在任何环境下的3D基础应用架构。HOOPSPlatform可以帮您打造3D创新型产品，HOOPSSDK包含的技术有：快速且准确的CAD

  10. FOHEART H1数据手套驱动Optitrack光学动捕双手运动(Unity3D) - 2

    本教程将在Unity3D中混合Optitrack与数据手套的数据流，在人体运动的基础上，添加双手手指部分的运动。双手手背的角度仍由Optitrack提供，数据手套提供双手手指的角度。 01  客户端软件分别安装MotiveBody与MotionVenus并校准人体与数据手套。MotiveBodyMotionVenus数据手套使用、校准流程参照：https://gitee.com/foheart_1/foheart-h1-data-summary.git02  数据转发打开MotiveBody软件的Streaming，开始向Unity3D广播数据；MotionVenus中设置->选项选择Unit

随机推荐