草庐IT

《分布式技术原理与算法解析》学习笔记Day18

技术修行者 2023-03-28 原文

分布式通信:发布订阅

什么是发布订阅?

远程调用的核心是在网络服务层封装了通信协议、序列化、传输等操作,让用户调用远程服务如同进行本地调用一样。

这种通信方式虽然也是设置成异步的,但是因为进程之间是直接交互的,所以当进程比较多时,会导致进程维护通信的复杂度非常高,且一个进程通信接口改变,与其通信的进程都会受到影响。

为了解决这个问题,我们需要设计专门的异步通信模式,包括消息发布订阅和消息队列两种方式。

发布订阅的三要素:

  • 生产者,负责产生数据放到消息中心。
  • 消费者,向消息中心订阅自己感兴趣的消息。
  • 消息中心,当发布者推送数据到消息中心后,消息中心根据消费者订阅情况将数据推送给对应的订阅者。

两种消息系统模式

消息系统包括两种典型模式:

  • 点对点模式,生产者将消息发送到消息中心,然后消费者从消息中心取出对应的消息进行消费,消息被消费后,消息中心不再存储该消息,这样其他消费者无法再消费该消息。点对点模式虽然支持多个消费者,但是一个消息只能被一个消费者消费,不允许重复消费。
  • 发布订阅模式,生产者可以发送消息到消息中心,而消息中心通常以主题(Topic)进行划分,每条消息都会有相应的主题,消息会被存储到自己所属的主题中,订阅该主题的所有消费者都可以获得该消息进行消费。

点对点模式中的一个消息,只能被一个消费者消费,发布订阅模式中的一个消息,可以被多个消费者消费。

发布订阅模式的关键特征:

  • 实现了系统解耦,易于维护。
  • 实现了异步执行,避免高负载。

Kafka发布订阅原理

Kafka是一种典型的发布订阅消息系统,它的架构包括三部分:

  • 生产者(Producer),负责发布消息到消息中心。
  • 消费者(Consumer),向消息中心订阅自己感兴趣的消息,获得数据后进行数据处理。
  • 消息中心(Broker),负责存储生产者发布的消息和管理消费者订阅信息,根据消费者订阅信息,将消息推送给消费者。

Kafka的架构如如下所示。

上图中还包括ZooKeeper集群,它用来协调和管理Broker和Consumer,实现Broker和Consumer的解耦,并未系统提高可靠性保证。Consumer和Broker启动时都会向ZooKeeper进行注册,由ZooKeeper进行统一管理和协调。

ZooKeeper会存储一些元数据信息,比如对于Broker,会存储主题对应哪些分区,每个分区的存储位置等,对于Consumer,会存储xiaofeizu中包含哪些Consumer,每个Consumer回负责消费哪些分区等。

Kafka Broker

为了解决消息存储的负载均衡和系统可靠性,Kafka引入了主题和分区的概念。

主题是一个逻辑概念,指消息类型或者数据类型。

分区指一个主题的内容可以被划分成多个集合,分布在不同的Broker上,不同的Broker在不同的节点上。

分区设计带来的好处:

  1. 实现负载均衡。
  2. 实现消息备份(我们可以设置Replicates)。

Kafka Consumer

Kafka中的消费组,指的是多个消费者的一个集合,一个消费组中的消费者共同消费主题消息,并且主题中每个消息只可以由消费组中的某一个消费者进行消费。

引入消费组可以解决单个消费者消费消息效率过低的问题。

观察者模式和发布订阅模式

观察者负责监控被观察者的状态变更,如果被观察者的状态发生改变,那么观察者根据状态的变更执行相关操作。观察者模式定义了被观察者和观察者的直接交互或者通信关系。

发布订阅模式中存在发布者、订阅者和消息中心,订阅者需要向消息中心指定自己对哪些数据感兴趣,发布者推送的数据放入消息中心后,消息中心根据订阅者订阅信息推送数据。发布者与订阅者之间引入了消息中心,实现的是间接通信。

观察者模式采用了直接通信,观察者与被观察者通信时延低一些,但它们的依赖关系比较强,不管是被观察者还是观察者的逻辑或接口有更改,另外一个都会受到影响。而发布者和订阅者模式采用间接通信,引入消息中心,相对比较厚重,且通信时延高一些,但实现了订阅者和发布者的解耦。

发布订阅中的消息传递模式

发布订阅中的消息传递有两种模式:

  • 拉模式:消费者主动去拉取消息。
  • 推模式:消息中心推送消息给消费者。

推模式中,消息中心需要考虑消费者的消费能力,不能把消费者压垮了,但从消息中心的角度看,这样可以控制消息的消费速度,调控积压消息。

拉模式中,消费者自己控制消息消费速度,但有可能会导致消息中心中消息挤压,会有消息丢失或者消息中心不可用的风险。

有关《分布式技术原理与算法解析》学习笔记Day18的更多相关文章

  1. ruby - i18n Assets 管理/翻译 UI - 2

    我正在使用i18n从头开始​​构建一个多语言网络应用程序,虽然我自己可以处理一大堆yml文件,但我说的语言(非常)有限,最终我想寻求外部帮助帮助。我想知道这里是否有人在使用UI插件/gem(与django上的django-rosetta不同)来处理多个翻译器,其中一些翻译器不愿意或无法处理存储库中的100多个文件,处理语言数据。谢谢&问候,安德拉斯(如果您已经在ruby​​onrails-talk上遇到了这个问题,我们深表歉意) 最佳答案 有一个rails3branchofthetolkgem在github上。您可以通过在Gemfi

  2. ruby-on-rails - Rails 3 I18 : translation missing: da. datetime.distance_in_words.about_x_hours - 2

    我看到这个错误:translationmissing:da.datetime.distance_in_words.about_x_hours我的语言环境文件:http://pastie.org/2944890我的看法:我已将其添加到我的application.rb中:config.i18n.load_path+=Dir[Rails.root.join('my','locales','*.{rb,yml}').to_s]config.i18n.default_locale=:da如果我删除I18配置,帮助程序会处理英语。更新:我在config/enviorments/devolpment

  3. ruby-on-rails - 如果我将 ruby​​ 版本 2.5.1 与 rails 版本 2.3.18 一起使用会怎样? - 2

    如果我使用ruby​​版本2.5.1和Rails版本2.3.18会怎样?我有基于rails2.3.18和ruby​​1.9.2p320构建的rails应用程序,我只想升级ruby的版本,而不是rails,这可能吗?我必须面对哪些挑战? 最佳答案 GitHub维护apublicfork它有针对旧Rails版本的分支,有各种变化,它们一直在运行。有一段时间,他们在较新的Ruby版本上运行较旧的Rails版本,而不是最初支持的版本,因此您可能会发现一些关于需要向后移植的有用提示。不过,他们现在已经有几年没有使用2.3了,所以充其量只能让更

  4. ruby - 分布式事务和队列,ruby,erlang,scala - 2

    我有一个涉及多台机器、消息队列和事务的问题。因此,例如用户点击网页,点击将消息发送到另一台机器,该机器将付款添加到用户的帐户。每秒可能有数千次点击。事务的所有方面都应该是容错的。我以前从未遇到过这样的事情,但一些阅读表明这是一个众所周知的问题。所以我的问题。我假设安全的方法是使用两阶段提交,但协议(protocol)是阻塞的,所以我不会获得所需的性能,我是否正确?我通常写Ruby,但似乎Redis之类的数据库和Rescue、RabbitMQ等消息队列系统对我的帮助不大——即使我实现某种两阶段提交,如果Redis崩溃,数据也会丢失,因为它本质上只是内存。所有这些让我开始关注erlang和

  5. ruby-on-rails - Ruby on Rails I18n 插值 - 2

    大家好!我对我的:username字段进行了一个小的验证,它应该是4到30个字符。我写了一个验证::length=>{:within=>4..30,:message=>I18n.t('activerecord.errors.range')-我想显示一个错误各种错误的消息(不像,太长或太短),但这里有一个问题-我可以将最小值和最大值都传递给翻译,以便有类似的东西:用户名应该在4到30个字符之间。目前我有:range:"shouldbebetween%{count}and%{count}characters",这显然不起作用(只是为了检查)。是否可以从范围中获取这些值?谢谢大家的指教!

  6. 区块链之加解密算法&数字证书 - 2

    目录一.加解密算法数字签名对称加密DES(DataEncryptionStandard)3DES(TripleDES)AES(AdvancedEncryptionStandard)RSA加密法DSA(DigitalSignatureAlgorithm)ECC(EllipticCurvesCryptography)非对称加密签名与加密过程非对称加密的应用对称加密与非对称加密的结合二.数字证书图解一.加解密算法加密简单而言就是通过一种算法将明文信息转换成密文信息,信息的的接收方能够通过密钥对密文信息进行解密获得明文信息的过程。根据加解密的密钥是否相同,算法可以分为对称加密、非对称加密、对称加密和非

  7. Unity 热更新技术 | (三) Lua语言基本介绍及下载安装 - 2

    ?博客主页:https://xiaoy.blog.csdn.net?本文由呆呆敲代码的小Y原创,首发于CSDN??学习专栏推荐:Unity系统学习专栏?游戏制作专栏推荐:游戏制作?Unity实战100例专栏推荐:Unity实战100例教程?欢迎点赞?收藏⭐留言?如有错误敬请指正!?未来很长,值得我们全力奔赴更美好的生活✨------------------❤️分割线❤️-------------------------

  8. LC滤波器设计学习笔记(一)滤波电路入门 - 2

    目录前言滤波电路科普主要分类实际情况单位的概念常用评价参数函数型滤波器简单分析滤波电路构成低通滤波器RC低通滤波器RL低通滤波器高通滤波器RC高通滤波器RL高通滤波器部分摘自《LC滤波器设计与制作》,侵权删。前言最近需要学习放大电路和滤波电路,但是由于只在之前做音乐频谱分析仪的时候简单了解过一点点运放,所以也是相当从零开始学习了。滤波电路科普主要分类滤波器:主要是从不同频率的成分中提取出特定频率的信号。有源滤波器:由RC元件与运算放大器组成的滤波器。可滤除某一次或多次谐波,最普通易于采用的无源滤波器结构是将电感与电容串联,可对主要次谐波(3、5、7)构成低阻抗旁路。无源滤波器:无源滤波器,又称

  9. CAN协议的学习与理解 - 2

    最近在学习CAN,记录一下,也供大家参考交流。推荐几个我觉得很好的CAN学习,本文也是在看了他们的好文之后做的笔记首先是瑞萨的CAN入门,真的通透;秀!靠这篇我竟然2天理解了CAN协议!实战STM32F4CAN!原文链接:https://blog.csdn.net/XiaoXiaoPengBo/article/details/116206252CAN详解(小白教程)原文链接:https://blog.csdn.net/xwwwj/article/details/105372234一篇易懂的CAN通讯协议指南1一篇易懂的CAN通讯协议指南1-知乎(zhihu.com)视频推荐CAN总线个人知识总

  10. MIMO-OFDM无线通信技术及MATLAB实现(1)无线信道:传播和衰落 - 2

     MIMO技术的优缺点优点通过下面三个增益来总体概括:阵列增益。阵列增益是指由于接收机通过对接收信号的相干合并而活得的平均SNR的提高。在发射机不知道信道信息的情况下,MIMO系统可以获得的阵列增益与接收天线数成正比复用增益。在采用空间复用方案的MIMO系统中,可以获得复用增益,即信道容量成倍增加。信道容量的增加与min(Nt,Nr)成正比分集增益。在采用空间分集方案的MIMO系统中,可以获得分集增益,即可靠性性能的改善。分集增益用独立衰落支路数来描述,即分集指数。在使用了空时编码的MIMO系统中,由于接收天线或发射天线之间的间距较远,可认为它们各自的大尺度衰落是相互独立的,因此分布式MIMO

随机推荐