vivo互联网服务器团队-LiKui一、简介1.1RocketMQ简介RocketMQ是由阿里巴巴开源的分布式消息中间件，支持顺序消息、定时消息、自定义过滤器、负载均衡、pull/push消息等功能。RocketMQ主要由Producer、Broker、Consumer、NameServer四部分组成，其中Producer负责生产消息，Consumer负责消费消息，Broker负责存储消息。NameServer充当名字路由服务，整体架构图如下所示：Producer：负责生产消息，一般由业务系统生产消息，可通过集群方式部署。RocketMQ提供多种发送方式，同步发送、异步发送、顺序发送、单向发送
vivo互联网服务器团队-LiKui一、简介1.1RocketMQ简介RocketMQ是由阿里巴巴开源的分布式消息中间件，支持顺序消息、定时消息、自定义过滤器、负载均衡、pull/push消息等功能。RocketMQ主要由Producer、Broker、Consumer、NameServer四部分组成，其中Producer负责生产消息，Consumer负责消费消息，Broker负责存储消息。NameServer充当名字路由服务，整体架构图如下所示：Producer：负责生产消息，一般由业务系统生产消息，可通过集群方式部署。RocketMQ提供多种发送方式，同步发送、异步发送、顺序发送、单向发送
作者：老Z，云原生爱好者，目前专注于云原生运维，KubeSphereAmbassador。SpringCloudAlibaba全家桶之RocketMQ是一款典型的分布式架构下的消息中间件产品，使用异步通信方式和发布订阅的消息传输模型。很多基于SpringCloud开发的项目都喜欢采用RocketMQ作为消息中间件。RocketMQ常用的部署模式如下：单Master模式多Master无Slave模式多Master多Slave模式-异步复制多Master多Slave模式-同步双写更多的部署方案详细信息可以参考官方文档。本文重点介绍单Master模式和多Master多Slave-异步复制模式在K8s
作者：老Z，云原生爱好者，目前专注于云原生运维，KubeSphereAmbassador。SpringCloudAlibaba全家桶之RocketMQ是一款典型的分布式架构下的消息中间件产品，使用异步通信方式和发布订阅的消息传输模型。很多基于SpringCloud开发的项目都喜欢采用RocketMQ作为消息中间件。RocketMQ常用的部署模式如下：单Master模式多Master无Slave模式多Master多Slave模式-异步复制多Master多Slave模式-同步双写更多的部署方案详细信息可以参考官方文档。本文重点介绍单Master模式和多Master多Slave-异步复制模式在K8s
Broker对消息的处理BrokerController初始化的过程中，调用registerProcessor方法注册了处理器，在注册处理器的代码中可以看到创建了处理消息发送的处理器对象SendMessageProcessor，然后将其注册到远程服务中：publicclassBrokerController{//初始化publicbooleaninitialize()throwsCloneNotSupportedException{//...//注册处理器this.registerProcessor();//...}//注册处理器publicvoidregisterProcessor(){/*
Broker对消息的处理BrokerController初始化的过程中，调用registerProcessor方法注册了处理器，在注册处理器的代码中可以看到创建了处理消息发送的处理器对象SendMessageProcessor，然后将其注册到远程服务中：publicclassBrokerController{//初始化publicbooleaninitialize()throwsCloneNotSupportedException{//...//注册处理器this.registerProcessor();//...}//注册处理器publicvoidregisterProcessor(){/*
作者：vivo互联网中间件团队-LiuRunyun大量业务使用消息中间件进行系统间的解耦、异步化、削峰填谷设计实现。公司内部前期基于RabbitMQ实现了一套高可用的消息中间件平台。随着业务的持续增长，消息体量随之增大，对消息中间件平台提出了更高的要求，此外在运维过程中也遇到了高可用难以保障，功能特性不足等诸多问题。基于遇到的这些问题，决定引入RocketMQ进行替换。本文将介绍基于RocketMQ建设消息中间件平台并实现在线业务无感知的平滑迁移。一、背景说明vivo互联网中间件团队于2016年开始基于开源RabbitMQ向业务提供高可用消息中间件平台服务。为解决好业务流量快速增长的问题，我们
作者：vivo互联网中间件团队-LiuRunyun大量业务使用消息中间件进行系统间的解耦、异步化、削峰填谷设计实现。公司内部前期基于RabbitMQ实现了一套高可用的消息中间件平台。随着业务的持续增长，消息体量随之增大，对消息中间件平台提出了更高的要求，此外在运维过程中也遇到了高可用难以保障，功能特性不足等诸多问题。基于遇到的这些问题，决定引入RocketMQ进行替换。本文将介绍基于RocketMQ建设消息中间件平台并实现在线业务无感知的平滑迁移。一、背景说明vivo互联网中间件团队于2016年开始基于开源RabbitMQ向业务提供高可用消息中间件平台服务。为解决好业务流量快速增长的问题，我们
需求将Hbase数据，解析后推送到RocketMQ。redis使用list数据类型，存储了需要推送的数据的RowKey及表名。简单画个流程图就是：分析及确定方案Redis明确list中元素结构{"rowkey":rowkey,"table":table}解析出rowkey；一次取多个元素加快效率；取了之后放入重试队列，并删除原来的元素；处理数据永远是重试队列里的，成功之后删除，失败就加上重试次数并重新放回；明确从list中取值所使用的redis命令；范围获取LRANGE；范围删除（留下指定范围的数据）LTRIM；判断list长度LLEN；加入listRPUSH；删除LREM等等；从Hbase获
需求将Hbase数据，解析后推送到RocketMQ。redis使用list数据类型，存储了需要推送的数据的RowKey及表名。简单画个流程图就是：分析及确定方案Redis明确list中元素结构{"rowkey":rowkey,"table":table}解析出rowkey；一次取多个元素加快效率；取了之后放入重试队列，并删除原来的元素；处理数据永远是重试队列里的，成功之后删除，失败就加上重试次数并重新放回；明确从list中取值所使用的redis命令；范围获取LRANGE；范围删除（留下指定范围的数据）LTRIM；判断list长度LLEN；加入listRPUSH；删除LREM等等；从Hbase获
