ApacheKafka是一个强大开源、分布式容错的事件流平台。然而，当我们使用Kafka发送大于配置的大小限制的消息时，它会给出一个错误。前文介绍了Spring集成Kafka，本文研究如何使用Kafka发送大消息。问题描述Kafka配置限制允许发送消息大小，默认为1M。然而，如果需要发送大消息，需要调整这些参数，本文使用Kafka2.5，在进入配置部分之前，首先需要安装Kafka。安装这里搭建单节点kafka代理，生产者应用发送消息给指定主题，该主题为单分区主题。我们看到整个过程涉及多个环节，kafka生产者、kafka代理、主题、kafka消费者。因此，所有这些配置需要调整，以适用大消息传输
1.首先停止kafka：kafka.shstop2.查看/config/server.properties看logdir的目录，换个目录或者删除目录中的数据，本机是rm-rfdatas/* (注：kafka报错日志可以在logs里server.log查看)两种方法：方法1：登录bin/zkCli.sh然后删除kafka中/brokers/topics/__consumer_offsets节点方法2：停止zookeeper：zk.shstop 查看conf/zoo.cfg的dataDir的路径，删除目录中的数据（myid不要删了）(注：zookeeper报错日志可以在logs里xxxx.out
Kafka系列之：深入理解延时队列一、延时队列概念和使用场景二、延时队列实现方案一、延时队列概念和使用场景队列是存储消息的载体，延时队列存储的对象是延时消息。所谓的延时消息是指消息被发送以后，并不想让消费者立刻获取，而是等待特定的时间后，消费者才能获取这个消息进行消费，延时队列一般也被称为延迟队列。延时与TTL的区别：延时的消息达到目标延时时间后才能被消费，而TTL的消息达到目标超时时间后会被丢弃。延时队列的使用场景有很多，比如：在订单系统中，一个用户下单之后通常有30分钟的时间进行支付，如果30分钟之内没有支付成功，那么订单将进行异常处理，这时就可以使用延时队列来处理这些订单了。订单完成1小
记录：459场景：在SpringBoot微服务集成Kafka客户端kafka-clients-3.0.0操作Kafka。使用kafka-clients的原生KafkaProducer操作Kafka生产者Producer。使用kafka-clients的原生KafkaConsumer操作Kafka的消费者Consumer。版本：JDK1.8,Spring Boot2.6.3,kafka_2.12-2.8.0,kafka-clients-3.0.0。Kafka安装：https://blog.csdn.net/zhangbeizhen18/article/details/1290713951.基础概
问题复现近日针对某一客户需求开发了一个需要使用Kafka的功能，功能是什么暂且不论，在本地虚机的Kafka连接一切正常遂放到测试服务器上验证功能，以下是监听topic成功和警告报错：2023-05-0910:22:23[localhost-startStop-1]INFOorg.apache.kafka.clients.consumer.ConsumerConfig-ConsumerConfigvalues: allow.auto.create.topics=true auto.commit.interval.ms=5000 auto.offset.reset=earliest bootstr
首先创建一个网络app-tier：网络名称–driver：网络类型为bridgedockernetworkcreateapp-tier--driverbridge1、安装zookeeperKafka依赖zookeeper所以先安装zookeeper-p：设置映射端口（默认2181）-d：后台启动dockerrun-d--namezookeeper-server\--networkapp-tier\-eALLOW_ANONYMOUS_LOGIN=yes\bitnami/zookeeper:latest查看zookeeper容器日志（可省略）dockerlogs-fzookeeper2、安装Kaf
首先创建一个网络app-tier：网络名称–driver：网络类型为bridgedockernetworkcreateapp-tier--driverbridge1、安装zookeeperKafka依赖zookeeper所以先安装zookeeper-p：设置映射端口（默认2181）-d：后台启动dockerrun-d--namezookeeper-server\--networkapp-tier\-eALLOW_ANONYMOUS_LOGIN=yes\bitnami/zookeeper:latest查看zookeeper容器日志（可省略）dockerlogs-fzookeeper2、安装Kaf
kafka实战-消费者offset重置问题背景问题现象分析原因问题解决附-常见的消费者配置描述和调优方案1.max.poll.records2.fetch.max.bytes3.heartbeat.interval.ms4.max.partition.fetch.bytes5.fetch.max.bytes6.session.timeout.ms7.auto.offset.reset8.max.poll.interval.ms9.max.poll.records完背景背景：当app启动时，会调用“启动上报接口”上报启动数据，该数据包含且不限于手机型号、应用版本、app类型、启动时间等，一站式接
kafka实战-消费者offset重置问题背景问题现象分析原因问题解决附-常见的消费者配置描述和调优方案1.max.poll.records2.fetch.max.bytes3.heartbeat.interval.ms4.max.partition.fetch.bytes5.fetch.max.bytes6.session.timeout.ms7.auto.offset.reset8.max.poll.interval.ms9.max.poll.records完背景背景：当app启动时，会调用“启动上报接口”上报启动数据，该数据包含且不限于手机型号、应用版本、app类型、启动时间等，一站式接
Windows监控 jconsole查看kafka.consumer---->consumer-fetch-manager-metrics--->attributes records-lag-max:71456 records-lead-min:54 监控到Lag越来越大，说明消费者程序边的越来越慢，至少追不上生产者的速度 监控Lead越来越小，甚至接近0，这预示着消费端要丢数据（因为只保存七天的数据，说明消息已经接近7天未被消费了）Linux监控 kafka-consumer-groups.sh--bootstrap-servernode1:9092
