Kafka集群版本：V3.5.1名称Node1Node2Node3IP172.29.145.157172.29.145.182172.29.145.183（1）查看Kraft集群中的状态以及Leader节点，投票节点使用--status可以查看集群选举次数/水位线以及投票节点等使用--replication可以查看Ledaer和Follower分布使用kafka-metadata-quorum.sh./kafka-metadata-quorum.sh--bootstrap-server172.29.145.157:9092,172.29.145.182:9092,172.29.145.183:
目录7.1Kafka-Kraft架构7.2Kafka-Kraft集群部署7.1Kafka-Kraft架构左图为Kafka现有架构，元数据在zookeeper中，运行时动态选举controller，由controller进行Kafka集群管理右图为kraft模式架构（实验性），不再依赖zookeeper集群，而是用三台controller节点代替zookeeper，元数据保存在controller中，由controller直接进行Kafka集群管理。这样做的好处有以下几个：Kafka不再依赖外部框架，而是能够独立运行controller管理集群时，不再需要从zookeeper中先读取数据，集群性
6.Kafka-Eagle监控Kafka-Eagle框架用于监控Kafka集群运行状况。官网https://kafka-eagle.org6.1Mysql前置mysql。6.2Kafka环境关闭集群kf.snstop修改vim/bin/kafka-server-start.sh并同步到其他节点if["x$KAFKA_HEAP_OPTS"="x"];then export KAFKA_HEAP_OPTS="-server-Xms2G-Xmx2GXX:PermSize=128m-XX:+UseG1GC-XX:MaxGCPauseMillis=200XX:ParallelGCThreads=8-XX
一、window安装1.1、下载安装包下载kafka地址，其中官方版内置zk，kafka_2.12-3.4.0.tgz其中这个名称的意思是kafka3.4.0版本，所用语言scala版本为2.121.2、安装配置1、解压刚刚下载的配置文件，解压后如下，其中data和kafka-logs这两个文件是没有的2、修改配置：进入到config目录，修改service.properties里面log.dirs路径未log.dirs=F:\kafka\installSurround\kafka3.4.0\kafka-logs，该目录是kafka的数据存储目录修改zookeeper.properties里面
使用docker-compose在单机搭建有三个节点的kafka集群。version:"3"services:kafka1:image:"bitnami/kafka:3.3.1"networks:-kafka-controllercontainer_name:kafka11user:rootports:-9192:9092environment:###通用配置#允许使用kraft，即Kafka替代Zookeeper-KAFKA_ENABLE_KRAFT=yes#kafka角色，做broker，也要做controller-KAFKA_CFG_PROCESS_ROLES=broker,contro
文章目录一、kafka集群实例角色规划二、准备工作三、修改Kraft协议配置文件三、格式化存储目录四、启动集群，完成基础测试五、一键停止集群脚本一、kafka集群实例角色规划在本专栏的之前的一篇文章《kafka3种zk的替代方案》已经为大家介绍过在kafka3.0种已经可以将zookeeper去掉。上图中黑色代表Broker（消息代理服务），褐色/蓝色代表Controller(集群控制器服务)左图（kafka2.0）：一个集群所有节点都是Broker角色，kafka从三个Broker中选举出来一个Controller控制器，控制器将集群元数据信息（比如主题分类、消费进度等）保存到zookeep
Kafka-Kraft模式左图为kafka现有架构，元数据在zookeeper中，运行时动态选举controller,由controller进行kafka集群管理，右图为kraft模式架构（实验性），不再依赖zookeeper集群，而是用三台controller节点代替zookeeper，元数据保存在controller中，由controller直接2进行kafka集群管理好处：1、kafka不再依赖外部框架，二十能够独立运行2、controller管理集群时，不再需要从zookeeper中先读取数据，集群性能上升3、由于不依赖zookeeper，集群拓展不再收到zookeeper读写能力限制
本文基于kafka3.3.1使用kraft作为仲裁，进行测试，kafkawithzookeeper使用也是一样的。修改服务器配置1.创建kafka_server_jaas.conf文件，写入如下内容KafkaServer{org.apache.kafka.common.security.plain.PlainLoginModulerequiredusername="admin"password="admin-sec"user_admin="admin-sec"user_producer="prod-sec"user_consumer="cons-sec";};username:定义了一个公共的
目录一、背景和描述二、资源情况三、技术选型四、部署Kraft版本集群五、配置SSL模式六、Springboot使用SSL集成参考资料一、背景和描述考虑资源安全性，需要搭建不依赖Zookeeper的kafka集群环境，并且配置SSL访问控制ApacheKafkaRaft是一种共识协议，它的引入是为了消除Kafka对ZooKeeper的元数据管理的依赖，被社区称之为KafkaRaftmetadatamode，简称KRaft模式。目前，Kafka在使用的过程当中，会出现一些问题。由于重度依赖Zookeeper集群，当Zookeeper集群性能发生抖动时，Kafka的性能也会收到很大的影响。因此，在K
常见安装：zookeeper+kafkazookeeper单节点安装：apach官网下载对应包：apache-zookeeper-3.7.1-bin.tar.gz修改对应配置文件/conf/zoo_sample.cfg，配置端口以及数据目录shzkServer.shstart启动、shzkServer.shstop停止、shzkServer.shstatus状态shzkCli.sh-server客户端zookeeper集群安装：在每个节点data目录，创建一个myid的文件，myid内容为服务id，没个节点服务id不同配置文件zoo.cfg添加集群信息：server.myid=ip:2888:
