前言工欲善其事，必先利其器。本文主要分享一下消息中间件kafka安装部署的过程，以及我平时在工作中针对kafka用的一些客户端工具和监控工具。kafka部署架构一个kafka集群由多个kafkabroker组成，每个broker将自己的元数据信息注册到zookeeper中，通过zookeeper关联形成一个集群。prettyZoo客户端既然kafka依赖zookeeper，我难免就需要看看zookeeper中究竟存储了kafka的哪些数据，这边介绍一款高颜值的客户端工具prettyZoo。PrettyZoo是一款基于ApacheCurator和JavaFX实现的Zookeeper图形化管理客户
1、首先引入依赖org.springframework.kafkaspring-kafkaorg.springframework.kafkaspring-kafka-testtest2、设置环境spring:kafka:#配置连接到服务端集群的配置项ip:port,ip:portbootstrap-servers:192.168.211.136:9092consumer:#auto-commit-interval:100auto-offset-reset:earliest#enable-auto-commit:false#进行手动提交默认是自动提交#enable-auto-commit:tru
Zookeeper存储的Kafka信息在zookeeper的服务端存储的Kafka相关信息1）/kafka/brokers/ids[0,1,2]记录有哪些服务器2）/kafka/brokers/topics/first/partitions/0/state记录谁是leader,有哪些服务器可用3）/kafka/controller辅助选举leaderKafkaBroker总体工作流程1）broker启动后在zk中注册2）controller谁先注册，谁说了算3）由选举出来的Controller监听brokes节点变化4）Controller决定Leader选举5）controller将节点信息
这里写目录标题启动kafk创建一个测试主题查看所有主题查看first详细信息修改分区数(分区数只能增加不能减少)删除主题生产者生产数据消费命令启动kafk安装目录下.\bin\windows\kafka-server-start.bat.\config\server.properties创建一个测试主题安装目录下.\bin\windows\kafka-topics.bat--create--topicfirst--bootstrap-serverlocalhost:9092--partitions1--replication-factor1参数描述bootstrap-server连接的Kafk
启动hadoop、在hdfs中创建需要访问的目录配置Hadoop的核心配置文件core-site.xml：设置Hadoop的核心配置参数，例如NameNode的地址、数据块大小、副本数量等。示例配置如下：fs.defaultFShdfs://localhost:9000hdfs-site.xml：设置HDFS（Hadoop分布式文件系统）的参数，例如数据块复制因子、NameNode的存储路径等。示例配置如下：dfs.replication1dfs.namenode.name.dir/opt/hadoop-3.3.0/data/namenodedfs.datanode.data.dir/opt/
原生模式org.apache.kafkakafka-clients3.0.0自定义分区器/***自定义分区器**@Author:chenyang*@Date:2023/5/711:34*/publicclassCustomerPartitionerimplementsPartitioner{@Overridepublicintpartition(Stringtopic,Objectkey,byte[]keyBytes,Objectvalue,byte[]valueBytes,Clustercluster){ListpartitionInfos=cluster.partitionsForTopi
文章目录概述使用场景实战配置文件配置类自定义ConSumerInterceptor使用概述ConsumerInterceptor是Kafka中的一个重要组件，它允许开发人员在Kafka消费者端拦截和修改消息的处理过程。ConsumerInterceptor可以用于实现各种功能，从消息监控到数据转换和错误处理，为开发人员提供了更大的灵活性和可定制性。ConsumerInterceptor的主要作用是在消息被消费之前和之后对其进行拦截和处理。它可以用于以下几个方面：监控：通过ConsumerInterceptor，可以在消息被消费之前和之后记录和监控消息的元数据，例如消息的偏移量、主题、分区等信息
Zookeeper+kafka一、Zookeeper介绍1、Zookeeper定义2、Zookeeper工作机制3、Zookeeper特点4、Zookeeper数据结构5、Zookeeper应用场景6、Zookeeper选举机制二、部署Zookeeper集群三、Kafka概述1、为什么需要消息队列（MQ）2、使用消息队列的好处3、消息队列的两种模式4、Kafka定义5、Kafka简介6、Kafka的特性7、Kafka系统架构四、部署kafka集群五、Kafka架构深入1、Kafka工作流程及文件存储机制2、数据可靠性保证3、数据一致性问题4、ack应答机制六、Filebeat+Kafka+EL
一、kafka的生产者和消费者1.生产者发送消息的流程 2. 消费者接收消息的流程 二、java代码实现1.添加依赖：org.apache.kafkakafka_2.122.实现生产者publicclassNormalProducer{publicstaticvoidmain(String[]args){Propertiesproperties=newProperties();// 1.配置生产者启动的关键属性参数// 1.1 BOOTSTRAP_SERVERS_CONFIG：连接kafka集群的服务列表，如果有多个，使用"逗号"进行分隔properties.put(ProducerConfi
👉博主介绍：博主从事应用安全和大数据领域，有8年研发经验，5年面试官经验，Java技术专家，WEB架构师，阿里云专家博主，华为云云享专家，51CTOTOP红人Java知识图谱点击链接：体系化学习Java（Java面试专题）💕💕感兴趣的同学可以收藏关注下，不然下次找不到哟💕💕✊✊感觉对你有帮助的朋友，可以给博主一个三连，非常感谢🙏🙏🙏文章目录1、什么是Leader选举2、Leader选举的详细机制3、Leader选举用到了Zookeeper哪些特性4、Leader负载均衡5、什么是PreferredReplica6、Leader负载均衡的命令7、写在最后1、什么是Leader选举leader选举
