背景：今天测试了两种不同的场景下kafkaproducer的tps性能数据，两种场景下都是使用3个线程，每个线程都是对应一个kafkaproducer，测试发送到kafka集群的消息的量，两个场景的区别是场景A只发送kafka消息，场景B是除了发送kafka消息之外，还使用logback记录日志(异步模式)，但是得到的发送到kafka集群的消息的量相差较大，大概20%，本文就记录下造成kafka消息发送的tps相差较大的原因追查原因:一.还原下测试场景首先说明下场景A和场景B的压测环境，服务器：两个场景都是使用12核12G的容器进行测试的消息大小：两个场景使用的消息大小都是1k，logback

一、Kafka介绍Kafka是一个分布式的发布-订阅消息系统，可以快速地处理高吞吐量的数据流，并将数据实时地分发到多个消费者中。Kafka消息系统由多个broker（服务器）组成，这些broker可以在多个数据中心之间分布式部署，以提供高可用性和容错性。Kafka的基本架构由生产者、消费者和主题（topic）组成。生产者可以将数据发布到指定的主题，而消费者可以订阅这些主题并消费其中的数据。同时，Kafka还支持数据流的处理和转换，可以在管道中通过KafkaStreamsAPI进行流式计算，例如过滤、转换、聚合等。Kafka使用高效的数据存储和管理技术，能够轻松地处理TB级别的数据量。其优点包括

Kafka的TimingWheel是Kafka中的一个时间轮实现，用于管理和处理延迟消息。时间轮是一种定时器的数据结构，可以高效地管理和触发定时事件。在Kafka中，TimingWheel用于处理延迟消息的重试。当Kafka生产者发送消息到Kafka集群，但由于某些原因导致消息发送失败，生产者会将这些消息放入TimingWheel中，进行重试。TimingWheel会定期扫描轮中的槽位，如果槽位中有消息需要重试，则将其重新发送。TimingWheel的主要特点是它可以在O(1)的时间复杂度内添加和删除延迟消息，并且定时触发延迟消息的发送。时间轮的设计使得在大量延迟消息场景下，能够高效地进行管理

幂等性producer在Kafka中，“幂等性生产者”的概念是指一种特性，它确保消息在生产者的发送操作被重试时仅发送一次。幂等性是一种重要的特性，因为在分布式系统中，网络问题或其他故障可能导致生产者发送的消息在传输过程中失败，从而需要重新发送。如果生产者没有幂等性保证，这种重试可能会导致重复的消息被写入Kafka，进而可能引发数据重复、不一致性或其他问题。其通过为每条消息分配一个唯一标识符（消息键）来实现，Kafka保证具有相同键的消息将被视为重复消息并且不会被重新处理。幂等性是指在相同的输入条件下，无论进行多少次操作，结果都是一致的。在消息队列中，生产者（producer）的幂等性是指当生产

kafka是什么？Kafka最初采用Scala语言开发的一个多分区、多副本并且基于ZooKeeper协调的分布式消息系统。目前Kafka已经定位为一个分布式流式处理平台，它的特性有高吞吐、可持久化、可水平扩展、支持流处理。ApacheKafka是一个分布式的发布-订阅消息系统，能够支撑海量数据的数据传递。在离线和实时的消息处理业务系统中，Kafka都有广泛的应用。Kafka将消息持久化到磁盘中，并对消息创建了备份保证了数据的安全。Kafka在保证了较高的处理速度的同时，又能保证数据处理的低延迟和数据的零丢失。kafka的特点？高吞吐量、低延迟。每个主题可以分为多个分区，消费组对分区进行消费操作

 传统的IO模型如果要把磁盘中的某个文件发送到远程服务器需要经历以下几个步骤(1)从磁盘中读取文件的内容，然后拷贝到内核缓冲区(2)CPU把内核缓冲区的数据赋值到用户空间的缓冲区(3)在用户程序中调用write方法，把用户缓冲区的数据拷贝到内核下面的SocketBuffer中(4)把内核下面的SocketBuffer中的数据赋值到网卡的缓冲区(5)网卡的缓冲区把数据传输到目标服务器上我们可以看到这个过程中经历了四次拷贝我们所说的零拷贝并不是没有拷贝（数据赋值），去掉的两次浪费的拷贝分别是1.从内核空间赋值到用户空间的拷贝 2.从用户空间再次复制到内核空间的拷贝由于用户空间和内核空间的切换会带来

Kafka系列之：安装KnowStreaming详细步骤一、相关技术博客二、安装elasticsearch1.下载elasticsearch2.创建数据目录3.创建es用户4.修改最大文件数5.解压elasticsearch6.赋予es用户目录权限7.修改es配置8.切换es用户启动elasticsearch三、安装KnowStreaming1.下载KnowStreaming2.初始化KnowStreaming需要的表3.创建elasticsearch初始化数据4.修改配置文件5.修改日志设置6.启动KnowStreaming

文章目录一、概述二、前期准备1）部署docker2）部署docker-compose三、创建网络四、安装Zookeeper五、Kafka编排部署1）下载Kafka2）配置3）启动脚本bootstrap.sh4）构建镜像Dockerfile5）编排docker-compose.yaml6）开始部署六、简单测试验证七、常用的Kafka客户端命令1）添加topic2）查看topic3）修改topic4）扩容分区5）删除topic6）生成者和消费者7）消费组8）查看数据积压9）kafka数据积压处理方法一、概述Kafka是由Apache基金会开发的分布式流处理平台，采用发布-订阅模式，支持高吞吐量、低

?‍?作者：bug菌?简介：在CSDN、掘金等社区优质创作者，全网合计6w粉+，对一切技术都感兴趣，重心偏java方向，目前运营公众号[猿圈奇妙屋]，欢迎小伙伴们的加入，一起秃头。?特别声明：原创不易，转载请附上原文出处链接和本文声明，谢谢配合。?版权声明：文章里可能部分文字或者图片来源于互联网或者百度百科，如有侵权请联系bug菌处理。【开发云】年年都是折扣价，不用四处薅羊毛         嗨，家人们，我是bug菌呀，我又来啦。今天我们来聊点什么咧，OK，接着为大家更

?‍?作者：bug菌?简介：在CSDN、掘金等社区优质创作者，全网合计6w粉+，对一切技术都感兴趣，重心偏java方向，目前运营公众号[猿圈奇妙屋]，欢迎小伙伴们的加入，一起秃头。?特别声明：原创不易，转载请附上原文出处链接和本文声明，谢谢配合。?版权声明：文章里可能部分文字或者图片来源于互联网或者百度百科，如有侵权请联系bug菌处理。【开发云】年年都是折扣价，不用四处薅羊毛         嗨，家人们，我是bug菌呀，我又来啦。今天我们来聊点什么咧，OK，接着为大家更