目录一、硬件配置调优二、生产者调优提高吞吐量 数据可靠数据去重数据有序、乱序 三、Broker调优服役新节点/退役旧节点增加分区 增加副本因子手动调整分区副本存储LeaderParttion负载均衡 自动创建主题四、消费者调优消费者再平衡 指定offest消费指定时间消费消费者提高吞吐量五、总体调优提升吞吐量数据可靠 合理设置分区数单条日志大于1M服务器挂了六、压力测试编辑 生产者压测消费者压测 一、硬件配置调优 1、100万日活*没人每天产生日志100条 = 1亿条（中型公司） 处理日志速度 1亿条/(24*3600s)=1150条/s 1条日志（0.5k-2k1k）
目录一、硬件配置调优二、生产者调优提高吞吐量 数据可靠数据去重数据有序、乱序 三、Broker调优服役新节点/退役旧节点增加分区 增加副本因子手动调整分区副本存储LeaderParttion负载均衡 自动创建主题四、消费者调优消费者再平衡 指定offest消费指定时间消费消费者提高吞吐量五、总体调优提升吞吐量数据可靠 合理设置分区数单条日志大于1M服务器挂了六、压力测试编辑 生产者压测消费者压测 一、硬件配置调优 1、100万日活*没人每天产生日志100条 = 1亿条（中型公司） 处理日志速度 1亿条/(24*3600s)=1150条/s 1条日志（0.5k-2k1k）
最近在搞Flink框架其中数据源需要模拟kafka取数据，于是自己搭建了一套单机的kafka环境，以便用于测试。现整理如下的笔记，发上来和大家分享。后续还会有kafka的相关笔记，会与大家继续分享！当前文档所部署服务器IP地址为192.168.118.218 hostname为web一、kafka环境搭建下载kafka很简单，可以使用源码的方式和安装包的方式安装。这里使用安装包的方式进行安装，只需要进行解压运行即可。源码下载地址：https://archive.apache.org/dist/kafka/2.5.0/kafka-2.5.0-src.tgz安装包下载地址：https://arc
最近在搞Flink框架其中数据源需要模拟kafka取数据，于是自己搭建了一套单机的kafka环境，以便用于测试。现整理如下的笔记，发上来和大家分享。后续还会有kafka的相关笔记，会与大家继续分享！当前文档所部署服务器IP地址为192.168.118.218 hostname为web一、kafka环境搭建下载kafka很简单，可以使用源码的方式和安装包的方式安装。这里使用安装包的方式进行安装，只需要进行解压运行即可。源码下载地址：https://archive.apache.org/dist/kafka/2.5.0/kafka-2.5.0-src.tgz安装包下载地址：https://arc
文章目录前言一、重复消费1.1重复消费出现的场景1.1.1Consumer消费过程中，进程挂掉/异常退出1.1.2消费者消费时间过长1.2重复消费解决方案1.2.1针对于消费端挂掉等原因造成的重复消费问题1.2.2针对于Consumer消费时间过长带来的重复消费问题二、消息丢失2.1生产端问题2.2消费端问题三、参考前言在Kafka中，生产者（Producer）和消费者（Consumer）是通过发布订阅模式进行协作的，生产者将消息发送到Kafka集群，而消费者从Kafka集群中拉取消息进行消费，无论是生产者发送消息到Kafka集群还是消费者从Kafka集群中拉取消息进行消费，都是容易出现问题的
文章目录前言一、重复消费1.1重复消费出现的场景1.1.1Consumer消费过程中，进程挂掉/异常退出1.1.2消费者消费时间过长1.2重复消费解决方案1.2.1针对于消费端挂掉等原因造成的重复消费问题1.2.2针对于Consumer消费时间过长带来的重复消费问题二、消息丢失2.1生产端问题2.2消费端问题三、参考前言在Kafka中，生产者（Producer）和消费者（Consumer）是通过发布订阅模式进行协作的，生产者将消息发送到Kafka集群，而消费者从Kafka集群中拉取消息进行消费，无论是生产者发送消息到Kafka集群还是消费者从Kafka集群中拉取消息进行消费，都是容易出现问题的
Kafka动态配置配置保存配置动态配置:修改参数后，无需重启Broker就能生效Kafka1.1后的DynamicUpdateMode列:read-only:只有重启Broker，才能生效per-broker:动态参数，修改后，就能生效cluster-wide:动态参数，修改后，整个集群范围内生效动态Broker:动态调整Broker端各种线程池大小，实时应对突发流量动态调整Broker端连接信息或安全配置信息动态更新SSLKeystore有效期动态调整Broker端Compact操作性能实时变更JMX指标收集器(JMXMetricsReporter)配置保存Kafka将动态Broker参数保
Kafka动态配置配置保存配置动态配置:修改参数后，无需重启Broker就能生效Kafka1.1后的DynamicUpdateMode列:read-only:只有重启Broker，才能生效per-broker:动态参数，修改后，就能生效cluster-wide:动态参数，修改后，整个集群范围内生效动态Broker:动态调整Broker端各种线程池大小，实时应对突发流量动态调整Broker端连接信息或安全配置信息动态更新SSLKeystore有效期动态调整Broker端Compact操作性能实时变更JMX指标收集器(JMXMetricsReporter)配置保存Kafka将动态Broker参数保
首先，项目是个springboot-maven项目。（使用quickstart就可以）。引入maven依赖：org.springframework.kafkaspring-kafka如果是普通maven项目，也可以用这个依赖：org.apache.kafkakafka_2.100.8.0接下来，在bootstrap.yaml中添加连接kafka的配置：spring:kafka:bootstrap-servers:192.168.76.4:9092producer:#生产者retries:3#设置大于0的值，则客户端会将发送失败的记录重新发送batch-size:16384buffer-memo
首先，项目是个springboot-maven项目。（使用quickstart就可以）。引入maven依赖：org.springframework.kafkaspring-kafka如果是普通maven项目，也可以用这个依赖：org.apache.kafkakafka_2.100.8.0接下来，在bootstrap.yaml中添加连接kafka的配置：spring:kafka:bootstrap-servers:192.168.76.4:9092producer:#生产者retries:3#设置大于0的值，则客户端会将发送失败的记录重新发送batch-size:16384buffer-memo
