文章目录简介基础环境服务器三台安装下载安装初始化集群启动集群验证创建Topic查看Topic详情简介Apache软件基金会发布了包含许多新特性和改进的Kafka3.3.1。这是第一个标志着可以在生产环境中使用KRaft（KafkaRaft）共识协议的版本。在几年的开发过程中，它先是在Kafka2.8早期访问版本中发布，然后又在Kafka3.0预览版本中发布。KRaft是一种共识协议，可以直接在Kafka中管理元数据。元数据的管理被整合到了Kafka当中，而不需要使用像ZooKeeper这样的第三方工具，这大大简化了Kafka的架构。这种新的KRaft模式提高了分区的可伸缩性和弹性，同时简化了K
最近趁着有空想复习一下Kafka原理，之前学的是Kafka1.9的版本，需要Zookeeper作为基础，专门存放Kafka的元数据使用，如Broker、Consumer、Topic等；但下载的时候发现Kafka已经升级到3.3的版本，真是时光飞逝，岁月荏苒呀，更新速度太快了！不过话又说回来，程序猿不就是活到老学到老嘛，啥也不说了，开干！顺嘴提一句，3.1以后的版本可以不用Zookeeper支持，Kafka自己支持了，这样可以减少资源占用，也可以在没有必要的情况下不用单独安装Zookeeper！docker-compose部署Kafkakraft集群环境配置程序猿，你懂得，阿里服务器，CPU1核
最近趁着有空想复习一下Kafka原理，之前学的是Kafka1.9的版本，需要Zookeeper作为基础，专门存放Kafka的元数据使用，如Broker、Consumer、Topic等；但下载的时候发现Kafka已经升级到3.3的版本，真是时光飞逝，岁月荏苒呀，更新速度太快了！不过话又说回来，程序猿不就是活到老学到老嘛，啥也不说了，开干！顺嘴提一句，3.1以后的版本可以不用Zookeeper支持，Kafka自己支持了，这样可以减少资源占用，也可以在没有必要的情况下不用单独安装Zookeeper！docker-compose部署Kafkakraft集群环境配置程序猿，你懂得，阿里服务器，CPU1核
【Kafka运维】部署基于Docker的Kraft模式Kafka集群最近项目中想使用kafka做消息系统，但安装好像很复杂，现在把安装过程记录一下。主流的安装方式是在服务器上直接安装，而我希望的是使用Docker。主流的Kafka使用Zookeeper，但最近Kafka将会逐步舍弃Zookeeper而使用自带的KRaft所以以下步骤是基于Docker安装无Zookeeper的Kafka。环境服务器1：10.8.15.49Docker:20.10.20docker-compose:1.26.0Kafka:3.3.1服务器2：10.11.206.4Docker:20.10.20docker-com
Kafka-Kraft模式架构部署Kafka网址：https://kafka.apache.org/PS：因环境原因此文档内端口都有修改！1.去官网下载二进制包PS：3.4.0是目前最新的版本！需要jdk1.8及以上版本启动。[root@k8s-node1~]#wgethttps://downloads.apache.org/kafka/3.4.0/kafka_2.12-3.4.0.tgz[root@k8s-node1~]#tarzxvfkafka-3.4.0-src.tgz[root@k8s-node1~]#cdkafka_2.12-3.4.0/[root@k8s-node1kafka_2.
一.Kafka-kraft架构由于Kafka依赖于zookeeper集群做元数据管理，2.8版本以后kafka引入kraft代替zk，图为zk模式的架构和kraft模式的架构对比左图为Kafka现有架构，元数据在zookeeper中，运行时动态选举controller，由controller进行Kafka集群管理。右图为kraft模式架构，不再依赖zookeeper集群，而是用三台controller节点代替zookeeper，元数据保存在controller中，由controller直接进行Kafka集群管理。这样做的好处有以下几个：Kafka不再依赖外部框架，而是能够独立运行；contro
一.Kafka-kraft架构由于Kafka依赖于zookeeper集群做元数据管理，2.8版本以后kafka引入kraft代替zk，图为zk模式的架构和kraft模式的架构对比左图为Kafka现有架构，元数据在zookeeper中，运行时动态选举controller，由controller进行Kafka集群管理。右图为kraft模式架构，不再依赖zookeeper集群，而是用三台controller节点代替zookeeper，元数据保存在controller中，由controller直接进行Kafka集群管理。这样做的好处有以下几个：Kafka不再依赖外部框架，而是能够独立运行；contro
Kafka基于Kraft下的权限控制本文基于kafka的版本3.2.0,之前的版本无法使用本文所提到的方法。本文方法对kafka源代码有修改修改部分如下(metadata\src\main\java\org\apache\kafka\metadata\authorizer\StandardAuthorizerData.java):voidaddAcl(Uuidid,StandardAclacl){try{StandardAclprevAcl=aclsById.putIfAbsent(id,acl);if(prevAcl!=null){log.warn("AnACLwithID"+id+"alr
Kafka基于Kraft下的权限控制本文基于kafka的版本3.2.0,之前的版本无法使用本文所提到的方法。本文方法对kafka源代码有修改修改部分如下(metadata\src\main\java\org\apache\kafka\metadata\authorizer\StandardAuthorizerData.java):voidaddAcl(Uuidid,StandardAclacl){try{StandardAclprevAcl=aclsById.putIfAbsent(id,acl);if(prevAcl!=null){log.warn("AnACLwithID"+id+"alr
