背景：rocketMq中队列消息过多、加上有时更新生产程序，导致队列中消息堆积，需要清空这些消息清理步骤：1、进入rocketMq目录中，关闭服务cd/data/rocketmq/binshmqshutdownbrokershmqshutdownnamesrv2、备份下队列信息（毕竟操作失误了还能还原）cd/root/mvstorestore-bakmvlogslogs-bak/root/store/CommitLog存的是消息内容原文/root/store/consumequeue存的是消息在CommitLog中的offset（相当于索引）/root/logs/rocketmqlogs/存的
文章目录(一)RabbitMQRabbitMQ核心概念消息队列的作用Exchange(交换器)Broker（消息中间件的服务节点）如何保证消息的可靠性如何保证RabbitMQ消息的顺序性如何保证RabbitMQ高可用的？如何解决消息队列的延时以及过期失效问题消息堆积问题怎么解决(二)kafkaKafka的数据时存储是磁盘中的，为什么可以满足每秒百万级别消息的生产和消费？组件介绍：(三)RocketMQ核心概念RocketMQ的架构图工作流程(一)RabbitMQRabbitMQ核心概念消息队列的作用异步解耦削峰Exchange(交换器)在RabbitMQ中，消息并不是直接被投递到Queue(消
RocketMq系列整体栏目内容链接地址【一】RocketMq安装和基本概念https://zhenghuisheng.blog.csdn.net/article/details/134486709【二】RocketMq的架构解析和高性能设计/font>https://zhenghuisheng.blog.csdn.net/article/details/134559514RocketMq的架构解析和高性能设计一，RocketMq的架构解析和高性能设计2，rocketmq底层原理2.1，事务的底层实现2.2，如何保证消息不丢失2.3，rocketmq积压问题2.4，如何保证顺序消费2.5，ro
一、消息中间件的使用场景 消息中间件的使用场景总结就是六个字：解耦、异步、削峰 1.解耦如果我方系统A要与三方B系统进行数据对接，推送系统人员信息，通常我们会使用接口开发来进行。但是如果运维期间B系统进行了调整，或者推送过程中B系统网络进行了调整，又或者后续过程中我们需要推送信息到三方C系统中，这样的话就需要我们进行频繁的接口开发调整，还需要考虑接口推送消息失败的场景。 如果我们使用消息中间件进行消息推送，我们只需要按照一种约定的数据结构进行数据推送，其他三方系统从消息中间件取值消费就可以，即便是三方系统出现宕机或者其他调整，我们都可以正常进行数据推送。 总结：通过一个MQ，Pub/Sub发布
文章目录一.前言RocketMqDocker二.安装步骤dcoker安装安装RocketMQ安装RocketMQ-Console-ng（RocketMQ管理页面）一.前言之前写了几篇消息队列中间间相关的文章，也了解和学习RabbitMQ和Kafka相关知识和使用。虽然也多RocketMQ的大名有所了解，却总感觉靠阿里一家发展起来的多少有些不确定性，故而没有做深入了解。本次新的架构系统中使用到RocketMQ，linux机器和docker两种安装方式都有实践，本文主要介绍docker安装方式（centos7）。RocketMqRocketMQ是阿里开源的消息中间件，具有高吞吐、高可靠性、适合大规
目录一、什么是消息中间件二、消息中间件的组成1、Broker2、Producer3、Consumer4、Topic5、Queue6、Message三、消息中间件通信模式1、点对点（kafka不支持这种模式） 2、发布/订阅 四、消息中间件的作用1、系统解耦2、提高系统响应时间3、为大数据处理架构提供服务五、消息中间件应用场景1、异步通信2、解耦3、冗余4、扩展性5、过载保护6、可恢复性7、顺序保证8、缓冲9、数据流处理五、常见的消息中间件MQ（message queue）1、RocketMQ2、RabbitMQ3、ActiveMQ4、Redis5、kafka6、ZeroMQ六、主要消息中间件之
天行健，君子以自强不息；地势坤，君子以厚德载物。每个人都有惰性，但不断学习是好好生活的根本，共勉！文章均为学习整理笔记，分享记录为主，如有错误请指正，共同学习进步。文章目录1.准备2.kibana界面查看数据2.1创建索引模式（Discover）2.2创建索引模式（StackManagement）3.数据以图形展示/分析3.1创建dashboard3.2创建可视化图形3.3数据移到工作区3.4选择展示数据的图形1.准备提前在es中创建好数据批量新增数据请参考文章链接中的11.2批量新增：kibana操作es增删改查2.kibana界面查看数据想要在kibana中以界面列表的形式查案数据，需要用
文章目录前言1.Docker部署Træfɪk2.本地访问traefik测试3.Linux安装cpolar4.配置Traefik公网访问地址5.公网远程访问Traefik6.固定Traefik公网地址前言Træfɪk是一个云原生的新型的HTTP反向代理、负载均衡软件，能轻易的部署微服务。它支持多种后端(Docker,Swarm,Mesos/Marathon,Consul,Etcd,Zookeeper,BoltDB,RestAPI,file…),可以对配置进行自动化、动态的管理.Træfɪk支持docker一键部署,内置WebUI，管理相对方便,下面介绍Linux本地docker一键部署traef
优点：批量发送消息可以提高rocketmq的生产者性能和吞吐量。使用场景:发送大量小型消息时；需要降低消息发送延迟时；需要提高生产者性能时；注意事项：消息列表的大小不能超过broker设置的最大消息大小;消息列表的大小不能超过生产证设置的maxMessageSize参数，此参数默认为4MB；批量发送消息不支持消息事务；如果代码在发送消息列表时发生异常，则可能会发生部分消息发送成功，部分消息发送失败的情况。如果要确保所有消息都已成功发送，则需要增加错误处理逻辑和消息重试机制；批量发送消息为什么要限制maxMessageSize❓消息列表的大小不能超过生产者设置的maxMessageSize参数，
kafkatopic中每一个分区会有Leader与Follow。Kafka的内部机制可以保证topic某一个分区的Leader与Follow不在同一台机器上Leader节点承担一个分区的读写，Follow节点只负责数据备份如果Leader分区所在的Broker节点宕机，会触发主从节点的切换，在剩下的Follow节点中选举一个新的Leader节点。这时数据的流入流程如下图所示RocketMQ RocketMQ所有主题的消息都会写入到commitlog文件中，然后基于commitlog文件构建消息消费队列文件（Consumequeue），消息消费队列的组织结构按照/topic/{queue}来组织
