草庐IT

rocketmq-dashboard

全部标签

docker安装canal1.1.5监控mysql的binlog日志并配置rocketmq进行数据同步到elasticsearch(超级大干货)

直接来,不逼逼(canal官网说的很明白,伪从节点请求dump。。。然后这个那个的,自行查阅资料)1、直接拉取canal镜像dockerpullcanal/canal-server:v1.1.52、创建canal文件夹,用来存在容器挂载到宿主机的目录或文件(注:本实例在/home下操作)mkdircanal&&cd$_&&mkdirconf3、先启动canal容器,把需要挂载的目录都copy出来,本例子只挂载了conf和logs目录(自己还想挂载啥东西就进去容器里面看看呗,dockerexec-itcanal/bin/bash)//启动一个临时容器dockerrun--name=canal-p

详解RocketMQ 顺序消费机制

摘要:顺序消息是指对于一个指定的Topic,消息严格按照先进先出(FIFO)的原则进行消息发布和消费,即先发布的消息先消费,后发布的消息后消费。本文分享自华为云社区《RocketMQ顺序消费机制》,作者:勇哥java实战分享。顺序消息是指对于一个指定的Topic,消息严格按照先进先出(FIFO)的原则进行消息发布和消费,即先发布的消息先消费,后发布的消息后消费。顺序消息分为分区顺序消息和全局顺序消息。1、分区顺序消息对于指定的一个Topic,所有消息根据ShardingKey进行区块分区,同一个分区内的消息按照严格的先进先出(FIFO)原则进行发布和消费。同一分区内的消息保证顺序,不同分区之间

使用docker-compose部署RocketMQ5.x 单机部署+配置参数详解

使用docker-compose部署RocketMQ5.x单机部署+配置参数详解镜像拉取拉取RocketMQ服务镜像(使用apache/rocketmq镜像包含NameServer+Broker+Proxy...)拉取RocketMQ控制台镜像(rocketmq-dashboard)安装docker-composev2版本并赋予权限(已经安装跳过这一步)比对docker版本对应的Composefileformat创建需要挂载的文件夹和文件创建NameServer需要挂载的文件夹和文件创建挂载文件夹创建挂载文件创建Broker需要挂载的文件夹和文件创建的挂载文件夹创建broker.conf文件拷

kafka和rocketmq区别对比

Kafka和RocketMQ是目前非常流行的分布式消息系统,它们都能够高效地处理海量的消息数据。在本文中,我们将对Kafka和RocketMQ进行技术比较,分析它们在各方面的优缺点,以便读者在选择消息系统时能够做出更加明智的决策。一、架构设计Kafka和RocketMQ都是基于发布/订阅模式的消息系统,但是它们的架构设计有所不同。Kafka的架构设计比较简单,主要由生产者、消费者和Kafka集群三个组件组成。生产者将消息发布到Kafka集群中的Broker节点,然后消费者从Broker节点中获取消息进行消费。Kafka的数据模型是基于Topic和Partition的,每个Topic可以有多个P

Docker部署RocketMQ5.x (单机部署+配置参数详解+不使用docker-compose直接部署)

Docker部署RocketMQ5.x单机部署+配置参数详解+不使用docker-compose直接部署镜像拉取(使用apache/rocketmq镜像包含NameServer+Broker+Proxy...)部署NameServer创建挂载文件夹创建挂载文件启动NameServer部署Broker创建需要映射的文件夹和文件创建的挂载文件夹创建broker.conf文件拷贝容器内Broker启动脚本到宿主机(如果不需要自定义堆内存可以跳过)启动Broker部署Proxy部署RocketMQ控制台(rocketmq-dashboard)镜像拉取启动RocketMQ控制台(rocketmq-das

RocketMQ 详解

RocketMQ详解1.基础概念2.RocketMQ消费模式2.1广播模式2.2集群模式3.基础架构3.1Broker的存储结构3.2存储文件简介3.3Consumer端的负载均衡机制3.4消息刷盘机制3.5Mmap+pageCache3.5.1传统缓存IO和Mmap3.5.2pageCache3.5.3预映射机制+文件预热机制3.6push/pull/pop3.7Topic分片3.8查漏补缺3.8.1消息的全局顺序和局部顺序3.8.2零拷贝(Zero-copy)和mmap前言:  RocketMQ是阿里开源的分布式消息中间件,跟其它中间件相比,RocketMQ的特点是纯JAVA实现1.基础概

RocketMQ 详解

RocketMQ详解1.基础概念2.RocketMQ消费模式2.1广播模式2.2集群模式3.基础架构3.1Broker的存储结构3.2存储文件简介3.3Consumer端的负载均衡机制3.4消息刷盘机制3.5Mmap+pageCache3.5.1传统缓存IO和Mmap3.5.2pageCache3.5.3预映射机制+文件预热机制3.6push/pull/pop3.7Topic分片3.8查漏补缺3.8.1消息的全局顺序和局部顺序3.8.2零拷贝(Zero-copy)和mmap前言:  RocketMQ是阿里开源的分布式消息中间件,跟其它中间件相比,RocketMQ的特点是纯JAVA实现1.基础概

【RocketMQ】NameServer总结

NameServer是一个注册中心,提供服务注册和服务发现的功能。NameServer可以集群部署,集群中每个节点都是对等的关系(没有像ZooKeeper那样在集群中选举出一个Master节点),节点之间互不通信。服务注册Broker启动的时候会向所有的NameServer节点进行注册,注意这里是向集群中所有的NameServer节点注册,而不是只向其中的某些节点注册,因为NameServer每个节点都是对等的,所以Broker需要向每一个节点进行注册,这样每一个节点都会有一份Broker的注册信息。服务发现Broker向NameServer注册以后,生产者Producer和消费者Consum

【RocketMQ】RocketMQ快速入门

RocketMQ的介绍RocketMQ版本发展Metaq1.x是RocketMQ前身的第一个版本,本质上把Kafka做了一次java版本的重写(Kafka是scala语言开发)。Meta2.x,主要是对存储部分进行了优化,因为kafka的数据存储,它的partition是一个全量的复制,在阿里、在淘宝的这种海量交易。Kafka这种机制的横向拓展是非常不好的。2012年阿里同时把Meta2.0从阿里内部开源出来,取名RocketMQ,同时为了命名上的规范(版本上延续),所以这个就是RocketMQ3.0。现在RocketMQ主要维护的是4.x的版本,也是大家使用得最多的版本,2017年从Apac

k8s 安装dashboard

前言上一篇中将k8s简单部署安装上了,这篇接着安装下dashboard。具体步骤下载yaml文件wgethttps://raw.githubusercontent.com/kubernetes/dashboard/v2.5.0/aio/deploy/recommended.yaml注意:这里使用的版本是v2.5.0,这个要和k8s的版本匹配上。编辑recommended.yaml启动部署该命令执行后大约需要1分钟才能部署好kubectlapply-frecommended.yaml查看是否运行[root@k8s-masterhome]#kubectlgetpod-nkubernetes-das