草庐IT

8. 微服务之消息队列RabbitMQ以及五种消息队列模式

狗二蛋的幸福生活 2024-04-24 原文

8.1 同步调用

即客户端向服务端请求做数据处理,客户端需要一直等待服务端处理直到返回结果给客户端

同步调用存在的问题:
  1. 耦合度高:每次加入新的需求,都要修改原来的代码
  2. 性能下降:调用者需要等待服务提供者响应,如果调用链过长则响应时间等于每次调用的时间之和
  3. 资源浪费:调用链中的每个服务在等待响应过程中,不能释放请求占用的资源,高并发场景下会极度浪费系统资源
  4. 级联失败:如果服务提供者出现问题,所有调用方都会跟着出问题,如同多米诺牌一样,迅速导致整个微服务群故障
优点:

时效性较强,可以立即得到结果

8.2 异步调用

即客户端并不是直接向服务端发起请求,而是会通过一个消息队列,客户端发起请求放入消息队列后就不会去等待服务端的执行结果,而是交给消息队列去下发请求做后台处理,客户端察觉不到

缺点:
  1. 依赖于消息队列的可靠性、安全性、吞吐能力
  2. 架构复杂,业务没有明显的流程线,不好追踪管理
优点:
  1. 耦合度低
  2. 吞吐量提升
  3. 故障隔离
  4. 流量削峰

8.3 消息队列框架比较

RabbitMQActiveMQRocketMQKafka
公司/社区RabbitApache阿里Apache
开发语言ErlangJavaJavaScala&Java
协议支持AMQP,XMPP,SMTP,STOMPOpenWire,STOMP,REST,XMPP,AMQP自定义协议自定义协议
可用性一般
单机吞吐量一般非常高
消息延迟微妙级毫秒级毫秒级毫秒以内
消息可靠性一般一般

8.4 RabbitMQ的结构

  • virtual host:虚拟主机,是对 queue、exchange 等资源的逻辑分组
  • exchange:路由消息到队列中
  • queue:缓存消息的队列
  • channel:操作MQ的工具

8.5 SpringAMQP 框架

用于操作 rabbitmq 的Spring集成框架

AMQP:是用于在应用程序或之间传递业务消息的开放标准。该协议与语言和平台无关,更符合微服务中独立性的要求。

SpringAMQP:是基于AMQP协议定义的一套API规范,提供了模板来发送和接收消息。包含两部分,其中 spring-amqp 是基础抽象, spring-rabbit 是底层的默认实现。

具体依赖:

一般引入到微服务的父工程 pom.xml 中

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-amqp</artifactId>
</dependency>

8.6 RabbitMQ 相关配置

在 application.yml 中进行配置
spring:
  rabbitmq:
    host: 81.69.245.250 # 主机名
    port: 5672 # 端口
    virtual-host: / # 虚拟主机
    username: rabbit # 用户名
    password: rabbit # 密码
    listener:
      simple:
        prefetch: 1 # 默认没有上限,每次只能获取一条消息,处理完成才能获取下一条消息

在服务器安装好 RabbitMQ 后,会有两个端口 port

  • 15672:从页面直接访问进入消息管理中心端口
  • 5672:代码调用 RabbitMQ 进行消息处理的端口

usernamepassword 为登录管理界面的用户名和密码


virtual-host:用户名所连接的虚拟主机

listener.simple.prefetch: 1:针对于客户端的配置

  • 默认客户端接收队列中的消息数量是没有上限的,即不管消息处理完了没有,都先把消息队列中的消息全部取出,这样若有多个客户机向消息队列拿消息,那么消息队列不管各个客户机的处理能力怎么样,会平均分配给这几个客户机队列中的消息,会造成处理性能好的客户机处理完消息空闲,而处理性能不好的客户机仍在排队处理消息,造成资源的浪费。
  • 所以需要通过listener.simple.prefetch: 1来对客户端进行配置,只有处理完设定的消息数后才能再向队列中拿消息
在 SpringBoot 启动类中进行配置

消息格式转换器:在将对象存入消息队列的时候,Spring 的消息对象的处理是由
org.springframework.amqp.support.converter.MessageConverter
来处理的。而默认实现是 SimpleMessageConverter,基于 JDK 的 ObjectOutputStream 完成序列化,所以默认存入消息队列中的对象是一个JDK序列化

为了方便对象在存入消息队列后的可读性,可以定义一个 MessageConverter 类型的 Bean,将对象转化为 JSON 格式序列化

先在父工程的 pom.xml 中引入 json 格式转换依赖

<dependency>
    <groupId>com.fasterxml.jackson.dataformat</groupId>
    <artifactId>jackson-dataformat-xml</artifactId>
</dependency>

在模块的启动类中注入Bean

@SpringBootApplication
public class PublisherApplication {
    public static void main(String[] args) {
        SpringApplication.run(PublisherApplication.class);
    }

    /**
     * 消息对象存储,默认JDK序列化,定义为json序列化
     * @return
     */
    @Bean
    public Jackson2JsonMessageConverter jsonMessageConverter() {
        return new Jackson2JsonMessageConverter();
    }
}

注意:发送方与接收方必须使用相同的 MessageConverter

8.7 RabbitMQ 中五种消息队列模式

官网:https://www.rabbitmq.com/getstarted.html

1. Simple Queue 基本消息模式:

最简单的模型,发送端把消息放入队列中,接收端从队列中拿消息

该种方式,若 RabbitMQ 中心没有要发送消息进入的队列或者没有接收端要接收的队列,那么需要先创建一个队列才能顺利发送或者接收

方法一:

先在 发送端 创建队列,发送消息

@RunWith(SpringRunner.class)
@SpringBootTest
public class SpringAMTPTest {
    // 注入操作RabbitMQ的对象
    @Resource
    private RabbitTemplate rabbitTemplate;

    @Test
    public void testSendSimpleQueue() {
        // 创建一个操作队列的对象
        RabbitAdmin admin = new RabbitAdmin(rabbitTemplate);
        Queue springQueue = new Queue("simple.queue");
        // 在管理器中声明该队列
        admin.declareQueue(springQueue);
        // 队列名
        String queueName = "simple.queue";
        // 要发送的消息
        String message = "this is a simple queue";
        rabbitTemplate.convertAndSend(queueName,message);
    }
}

接收端 接收

创建一个监听类,在其中添加监听方法,并定义为Component组件加入Spring中,开启启动类监听队列消息

@RabbitListener(queues = "simple.queue")
public void listenSimpleQueueMessage(String msg) {
    System.out.println("spring 消费者接收到消息:【" + msg + "】");
}
方法二:

先在 接收端 创建一个配置类,创建队列

import org.springframework.amqp.core.Queue;

@Configuration
public class QueueConfig {
    @Bean
    public Queue simpleQueue() {
        return new Queue("simple.queue");
    }
}

再创建一个监听类,在其中添加监听方法,并定义为Component组件加入Spring中,开启启动类监听队列消息

@RabbitListener(queues = "simple.queue")
public void listenSimpleQueueMessage(String msg) {
    System.out.println("spring 消费者接收到消息:【" + msg + "】");
}

发送端 发送

@RunWith(SpringRunner.class)
@SpringBootTest
public class SpringAMTPTest {
    // 注入操作RabbitMQ的对象
    @Resource
    private RabbitTemplate rabbitTemplate;

    @Test
    public void testSendSimpleQueue() {
        // 队列名
        String queueName = "simple.queue";
        // 要发送的消息
        String message = "this is a simple queue";
        rabbitTemplate.convertAndSend(queueName,message);
    }
}
2. Work Queue 工作模式:

多个接收端接收消息,提高消息处理速度,避免消息堆积

方法与模型 1 一样,接收端 增加多个消费者

@Component
public class SpringRabbitListener {

    @RabbitListener(queues = "work.queue")
    public void listenWorkQueueMessage1(String msg) throws InterruptedException {
        System.out.println("spring消费者1---接收到消息:【" + msg + "】" + LocalTime.now());
        Thread.sleep(20);
    }

    @RabbitListener(queues = "work.queue")
    public void listenWorkQueueMessage2(String msg) throws InterruptedException {
        System.out.println("spring消费者2---接收到消息:【" + msg + "】" + LocalTime.now());
        Thread.sleep(200);
    }
}

关键配置:
在接收端 application.yml 中配置 spring.rabbitmq.listener.simple.prefetch: 1 使每个接收端消费完定义数量后再从消息队列中提取,减少资源浪费,提高性能

后三个模式与前两者的最大区别在于加入了 exchange(交换机),通过交换机路由到不同消息队列中,允许同一消息发送给多个消费者
3. Fanout Exchange 广播模式

会将接收到的消息路由到每一个跟其绑定的消息队列中

先在 接收端 创建一个监听类,在其中添加监听方法,并定义为Component组件加入Spring中,开启启动类监听队列消息

@Component
public class SpringRabbitListener {

    @RabbitListener(bindings = @QueueBinding(
            exchange = @Exchange(name = "cyx.fanout",type = ExchangeTypes.FANOUT),
            value = @Queue(name = "fanout.queue1")
    ))
    public void listenFanoutQueue1(String msg) {
        System.out.println("消费者接收到fanout.queue1消息:【" + msg + "】");
    }

    @RabbitListener(bindings = @QueueBinding(
            exchange = @Exchange(name = "cyx.fanout",type = ExchangeTypes.FANOUT),
            value = @Queue(name = "fanout.queue2")
    ))
    public void listenFanoutQueue2(String msg) {
        System.out.println("消费者接收到fanout.queue2消息:【" + msg + "】");
    }
}

该种注解方式,若无指定的交换机或者消息队列会先创建一个,无需提前创建

发送端 发送

@RunWith(SpringRunner.class)
@SpringBootTest
public class SpringAMTPTest {
    // 注入操作RabbitMQ的对象
    @Resource
    private RabbitTemplate rabbitTemplate;

    @Test
    public void testSendFanoutExchange() {
        // 交换机名称
        String exchangeName = "cyx.fanout";
        // 消息
        String message = "this is fanout...";
        // 发送消息
        rabbitTemplate.convertAndSend(exchangeName,"",message);
    }
}
4. Direct Exchange 路由模式

交换机会将接收到的消息根据规则路由到指定的消息队列中,因此称为路由模式

  • 每一个 Queue 都与 Exchange 设置一个 BindingKey
  • 发布者发送消息时,指定消息的 RoutingKey
  • Exchange 将消息路由到 BindingKey 与消息 RoutingKey 一致的队列

先在 接收端 创建一个监听类,在其中添加监听方法,并定义为Component组件加入Spring中,开启启动类监听队列消息

@Component
public class SpringRabbitListener {

    @RabbitListener(bindings = @QueueBinding(
            value = @Queue(name = "direct.queue1"),
            exchange = @Exchange(name = "cyx.direct",type = ExchangeTypes.DIRECT),
            key = {"red","blue"}
    ))
    public void listenDirectQueue1(String msg) {
        System.out.println("消费者接收到direct.queue1的消息:【" + msg + "】");
    }

    @RabbitListener(bindings = @QueueBinding(
            value = @Queue(name = "direct.queue2"),
            exchange = @Exchange(name = "cyx.direct",type = ExchangeTypes.DIRECT),
            key = {"red","yellow"}
    ))
    public void listenDirectQueue2(String msg) {
        System.out.println("消费者接收到direct.queue2的消息:【" + msg + "】");
    }
}

发送端 发送

@RunWith(SpringRunner.class)
@SpringBootTest
public class SpringAMTPTest {

    @Test
    public void testSendDirectExchange() {
        // 交换机名称
        String exchangeName = "cyx.direct";
        // 消息
        String message = "this is direct...";
        // 发送消息
        rabbitTemplate.convertAndSend(exchangeName,"red",message);
    }
}
5. Topic Exchange 话题模式

与路由模式类似,区别在于 routingKey 必须是多个单词的列表,并且以.分割,可以使路由根据通配符匹配到指定类型的消息队列中。
#:代指 0 个或多个单词
*:代指一个单词

先在 接收端 创建一个监听类,在其中添加监听方法,并定义为Component组件加入Spring中,开启启动类监听队列消息

@Component
public class SpringRabbitListener {

    @RabbitListener(bindings = @QueueBinding(
            value = @Queue(name = "topic.queue1"),
            exchange = @Exchange(name = "cyx.topic",type = ExchangeTypes.TOPIC),
            key = "china.#"
    ))
    public void listenTopicQueue1(String msg) {
        System.out.println("消费者接收到topic.queue1的消息:【" + msg + "】");
    }

    @RabbitListener(bindings = @QueueBinding(
            value = @Queue(name = "topic.queue2"),
            exchange = @Exchange(name = "cyx.topic",type = ExchangeTypes.TOPIC),
            key = "#.news"
    ))
    public void listenTopicQueue2(String msg) {
        System.out.println("消费者接收到topic.queue2的消息:【" + msg + "】");
    }
}

发送端 发送

@RunWith(SpringRunner.class)
@SpringBootTest
public class SpringAMTPTest {
    // 注入操作RabbitMQ的对象
    @Resource
    private RabbitTemplate rabbitTemplate;

    @Test
    public void testSendTopicExchange() {
        // 交换机名称
        String exchangeName = "cyx.topic";
        // 消息
        String message = "this is topic...";
        // 发送消息
        rabbitTemplate.convertAndSend(exchangeName,"wether.news",message);
    }
}

有关8. 微服务之消息队列RabbitMQ以及五种消息队列模式的更多相关文章

  1. ruby-on-rails - Rails - 子类化模型的设计模式是什么? - 2

    我有一个模型:classItem项目有一个属性“商店”基于存储的值,我希望Item对象对特定方法具有不同的行为。Rails中是否有针对此的通用设计模式?如果方法中没有大的if-else语句,这是如何干净利落地完成的? 最佳答案 通常通过Single-TableInheritance. 关于ruby-on-rails-Rails-子类化模型的设计模式是什么?,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.co

  2. ruby - 什么是填充的 Base64 编码字符串以及如何在 ruby​​ 中生成它们? - 2

    我正在使用的第三方API的文档状态:"[O]urAPIonlyacceptspaddedBase64encodedstrings."什么是“填充的Base64编码字符串”以及如何在Ruby中生成它们。下面的代码是我第一次尝试创建转换为Base64的JSON格式数据。xa=Base64.encode64(a.to_json) 最佳答案 他们说的padding其实就是Base64本身的一部分。它是末尾的“=”和“==”。Base64将3个字节的数据包编码为4个编码字符。所以如果你的输入数据有长度n和n%3=1=>"=="末尾用于填充n%

  3. ruby - 解析 RDFa、微数据等的最佳方式是什么,使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2

    我主要使用Ruby来执行此操作,但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式,例如使用这个yaml文件,它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i

  4. ruby - 如何在续集中重新加载表模式? - 2

    鉴于我有以下迁移:Sequel.migrationdoupdoalter_table:usersdoadd_column:is_admin,:default=>falseend#SequelrunsaDESCRIBEtablestatement,whenthemodelisloaded.#Atthispoint,itdoesnotknowthatusershaveais_adminflag.#Soitfails.@user=User.find(:email=>"admin@fancy-startup.example")@user.is_admin=true@user.save!ende

  5. ruby-on-rails - 如何在 Rails View 上显示错误消息? - 2

    我是rails的新手,想在form字段上应用验证。myviewsnew.html.erb.....模拟.rbclassSimulation{:in=>1..25,:message=>'Therowmustbebetween1and25'}end模拟Controller.rbclassSimulationsController我想检查模型类中row字段的整数范围,如果不在范围内则返回错误信息。我可以检查上面代码的范围,但无法返回错误消息提前致谢 最佳答案 关键是您使用的是模型表单,一种显示ActiveRecord模型实例属性的表单。c

  6. ruby - 是否有用于序列化和反序列化各种格式的对象层次结构的模式? - 2

    给定一个复杂的对象层次结构,幸运的是它不包含循环引用,我如何实现支持各种格式的序列化?我不是来讨论实际实现的。相反,我正在寻找可能会派上用场的设计模式提示。更准确地说:我正在使用Ruby,我想解析XML和JSON数据以构建复杂的对象层次结构。此外,应该可以将该层次结构序列化为JSON、XML和可能的HTML。我可以为此使用Builder模式吗?在任何提到的情况下,我都有某种结构化数据-无论是在内存中还是文本中-我想用它来构建其他东西。我认为将序列化逻辑与实际业务逻辑分开会很好,这样我以后就可以轻松支持多种XML格式。 最佳答案 我最

  7. ruby - 分布式事务和队列,ruby,erlang,scala - 2

    我有一个涉及多台机器、消息队列和事务的问题。因此,例如用户点击网页,点击将消息发送到另一台机器,该机器将付款添加到用户的帐户。每秒可能有数千次点击。事务的所有方面都应该是容错的。我以前从未遇到过这样的事情,但一些阅读表明这是一个众所周知的问题。所以我的问题。我假设安全的方法是使用两阶段提交,但协议(protocol)是阻塞的,所以我不会获得所需的性能,我是否正确?我通常写Ruby,但似乎Redis之类的数据库和Rescue、RabbitMQ等消息队列系统对我的帮助不大——即使我实现某种两阶段提交,如果Redis崩溃,数据也会丢失,因为它本质上只是内存。所有这些让我开始关注erlang和

  8. ruby - 使用 Ruby 通过 Outlook 发送消息的最简单方法是什么? - 2

    我的工作要求我为某些测试自动生成电子邮件。我一直在四处寻找,但未能找到可以快速实现的合理解决方案。它需要在outlook而不是其他邮件服务器中,因为我们有一些奇怪的身份验证规则,我们需要保存草稿而不是仅仅发送邮件的选项。显然win32ole可以做到这一点,但我找不到任何相当简单的例子。 最佳答案 假设存储了Outlook凭据并且您设置为自动登录到Outlook,WIN32OLE可以很好地完成此操作:require'win32ole'outlook=WIN32OLE.new('Outlook.Application')message=

  9. Ruby - 如何将消息长度表示为 2 个二进制字节 - 2

    我正在使用Ruby,我正在与一个网络端点通信,该端点在发送消息本身之前需要格式化“header”。header中的第一个字段必须是消息长度,它被定义为网络字节顺序中的2二进制字节消息长度。比如我的消息长度是1024。如何将1024表示为二进制双字节? 最佳答案 Ruby(以及Perl和Python等)中字节整理的标准工具是pack和unpack。ruby的packisinArray.您的长度应该是两个字节长,并且按网络字节顺序排列,这听起来像是n格式说明符的工作:n|Integer|16-bitunsigned,network(bi

  10. 【鸿蒙应用开发系列】- 获取系统设备信息以及版本API兼容调用方式 - 2

    在应用开发中,有时候我们需要获取系统的设备信息,用于数据上报和行为分析。那在鸿蒙系统中,我们应该怎么去获取设备的系统信息呢,比如说获取手机的系统版本号、手机的制造商、手机型号等数据。1、获取方式这里分为两种情况,一种是设备信息的获取,一种是系统信息的获取。1.1、获取设备信息获取设备信息,鸿蒙的SDK包为我们提供了DeviceInfo类,通过该类的一些静态方法,可以获取设备信息,DeviceInfo类的包路径为:ohos.system.DeviceInfo.具体的方法如下:ModifierandTypeMethodDescriptionstatic StringgetAbiList​()Obt

随机推荐