下载Kafka《Kafka官网下载》注意：下载的是二进制文件，不要下载源码！这里可以采用第三方下载工具加速下载，如：迅雷等上传到Linux服务器的/data/目录下进行解压tar-zxvf是解压文件命令，-C表示把解压文件放到哪个目录下tar-zxvf/data/kafka_2.12-3.5.0.tgz-C/data/启动Kafka修改环境变量vim/etc/profileexportPATHUSERLOGNAMEMAILHOSTNAMEHISTSIZEHISTCONTROL下追加内容：#kafkaexportKAFKA_HOME=/data/kafka_2.12-3.5.0exportPAT
异常[root@centos7_101kafka]#bin/kafka-topics.sh--bootstrap-server192.168.88.142:9092--list\^HErrorwhileexecutingtopiccommand:Timedoutwaitingforanodeassignment.Call:listTopics[2022-04-1015:13:13,560]ERRORorg.apache.kafka.common.errors.TimeoutException:Timedoutwaitingforanodeassignment.Call:listTopics(k
简介ApacheKafka是一个分布式流处理平台，最初由LinkedIn开发，现在是Apache软件基金会的顶级项目之一。Kafka能够处理大规模的实时数据流，支持高可靠性、高可扩展性、低延迟和高吞吐量。它主要用于构建实时数据管道和流式处理应用程序。Kafka的核心概念包括：Producer（生产者）、Broker（代理服务器）、Topic（主题）、Partition（分区）和Consumer（消费者）。生产者（Producer）将消息发布到Kafka的Topic中。Topic是逻辑上的概念，可以认为是消息的容器。Broker是Kafka的中心组件，它负责处理所有的读写请求，并在集群中进行负载
需求：提供一个能够监控kafka集群的环境下消费组的积压信息。当某个消费组积压的信息超过设定的阈值的时候，程序主动告警提醒。难点：集群环境，有多个机器。每个机器上存在多个主题，多个消费组。使用javaapi查询思路：1。先获取集群环境下某台机子下的所有主题2。查询该主题下绑定的消费组id3。查询该主题下具体消费组的信息具体实现1。环境准备，导入客户端和kafkaApi!--解决：java.lang.NoSuchMethodError:org.apache.kafka.common.network.NetworkSend.init>(Ljava/lang/String;[Ljava/nio/By
一、错误报的错：ERRORFatalerrorduringKafkaServerstartup.Preparetoshutdown(kafka.server.KafkaServer)kafka.common.InconsistentBrokerIdException:Configuredbroker.id0doesn’tmatchstoredbroker.idSome(1)inmeta.properties.Ifyoumovedyourdata,makesureyourconfiguredbroker.idmatches.Ifyouintendtocreateanewbroker,yousho
一、错误报的错：ERRORFatalerrorduringKafkaServerstartup.Preparetoshutdown(kafka.server.KafkaServer)kafka.common.InconsistentBrokerIdException:Configuredbroker.id0doesn’tmatchstoredbroker.idSome(1)inmeta.properties.Ifyoumovedyourdata,makesureyourconfiguredbroker.idmatches.Ifyouintendtocreateanewbroker,yousho
测试告诉说kafka的topic列表里面新加入了一个topic，然后就不消费数据了；自己验证了一下，确实这样，如果去掉新的topic，数据就可以正常消费；然后我查看定义发现，topicA是1个分区；topicB是两个分区；topicNew是12分区；1、难道分区不一样导致的；然后否决了这个项目，因为消费总共使用了4个线程，在日志里面，总共四条，说明：四个线程消费topic的情况，对应的每个topic的分区号，所以没问题catinfo.log|grep'Settingnewly' 2、认真看topic的定义发现，明显是没有这样的leader的。 然后就删掉（删干净，zookeeper数据），重建
测试告诉说kafka的topic列表里面新加入了一个topic，然后就不消费数据了；自己验证了一下，确实这样，如果去掉新的topic，数据就可以正常消费；然后我查看定义发现，topicA是1个分区；topicB是两个分区；topicNew是12分区；1、难道分区不一样导致的；然后否决了这个项目，因为消费总共使用了4个线程，在日志里面，总共四条，说明：四个线程消费topic的情况，对应的每个topic的分区号，所以没问题catinfo.log|grep'Settingnewly' 2、认真看topic的定义发现，明显是没有这样的leader的。 然后就删掉（删干净，zookeeper数据），重建
1测试环境加了一个节点， 后台日志突然出现大量异常，但新建的topic还能正常运行 1.1[2021-10-2923:59:59,840]ERROR[ReplicaFetcherThread-0-33],Errorforpartition[585cd97cab31fb583f7338f2,10]tobroker33:org.apache.kafka.common.errors.UnknownServerException:Theserverexperiencedanunexpectederrorwhenprocessingtherequest(kafka.server.ReplicaFetch
参考资料：官网官方文档英文版官方文档中文版官方文档中英文对照版参考视频1（最全面最好的视频）参考视频2（这个视频真的很差，但是被骗了1W大洋）视频学习资料及个人笔记
