Kafka系列之：深入理解延时队列一、延时队列概念和使用场景二、延时队列实现方案一、延时队列概念和使用场景队列是存储消息的载体，延时队列存储的对象是延时消息。所谓的延时消息是指消息被发送以后，并不想让消费者立刻获取，而是等待特定的时间后，消费者才能获取这个消息进行消费，延时队列一般也被称为延迟队列。延时与TTL的区别：延时的消息达到目标延时时间后才能被消费，而TTL的消息达到目标超时时间后会被丢弃。延时队列的使用场景有很多，比如：在订单系统中，一个用户下单之后通常有30分钟的时间进行支付，如果30分钟之内没有支付成功，那么订单将进行异常处理，这时就可以使用延时队列来处理这些订单了。订单完成1小
记录：459场景：在SpringBoot微服务集成Kafka客户端kafka-clients-3.0.0操作Kafka。使用kafka-clients的原生KafkaProducer操作Kafka生产者Producer。使用kafka-clients的原生KafkaConsumer操作Kafka的消费者Consumer。版本：JDK1.8,Spring Boot2.6.3,kafka_2.12-2.8.0,kafka-clients-3.0.0。Kafka安装：https://blog.csdn.net/zhangbeizhen18/article/details/1290713951.基础概
问题复现近日针对某一客户需求开发了一个需要使用Kafka的功能，功能是什么暂且不论，在本地虚机的Kafka连接一切正常遂放到测试服务器上验证功能，以下是监听topic成功和警告报错：2023-05-0910:22:23[localhost-startStop-1]INFOorg.apache.kafka.clients.consumer.ConsumerConfig-ConsumerConfigvalues: allow.auto.create.topics=true auto.commit.interval.ms=5000 auto.offset.reset=earliest bootstr
首先创建一个网络app-tier：网络名称–driver：网络类型为bridgedockernetworkcreateapp-tier--driverbridge1、安装zookeeperKafka依赖zookeeper所以先安装zookeeper-p：设置映射端口（默认2181）-d：后台启动dockerrun-d--namezookeeper-server\--networkapp-tier\-eALLOW_ANONYMOUS_LOGIN=yes\bitnami/zookeeper:latest查看zookeeper容器日志（可省略）dockerlogs-fzookeeper2、安装Kaf
首先创建一个网络app-tier：网络名称–driver：网络类型为bridgedockernetworkcreateapp-tier--driverbridge1、安装zookeeperKafka依赖zookeeper所以先安装zookeeper-p：设置映射端口（默认2181）-d：后台启动dockerrun-d--namezookeeper-server\--networkapp-tier\-eALLOW_ANONYMOUS_LOGIN=yes\bitnami/zookeeper:latest查看zookeeper容器日志（可省略）dockerlogs-fzookeeper2、安装Kaf
kafka实战-消费者offset重置问题背景问题现象分析原因问题解决附-常见的消费者配置描述和调优方案1.max.poll.records2.fetch.max.bytes3.heartbeat.interval.ms4.max.partition.fetch.bytes5.fetch.max.bytes6.session.timeout.ms7.auto.offset.reset8.max.poll.interval.ms9.max.poll.records完背景背景：当app启动时，会调用“启动上报接口”上报启动数据，该数据包含且不限于手机型号、应用版本、app类型、启动时间等，一站式接
kafka实战-消费者offset重置问题背景问题现象分析原因问题解决附-常见的消费者配置描述和调优方案1.max.poll.records2.fetch.max.bytes3.heartbeat.interval.ms4.max.partition.fetch.bytes5.fetch.max.bytes6.session.timeout.ms7.auto.offset.reset8.max.poll.interval.ms9.max.poll.records完背景背景：当app启动时，会调用“启动上报接口”上报启动数据，该数据包含且不限于手机型号、应用版本、app类型、启动时间等，一站式接
Windows监控 jconsole查看kafka.consumer---->consumer-fetch-manager-metrics--->attributes records-lag-max:71456 records-lead-min:54 监控到Lag越来越大，说明消费者程序边的越来越慢，至少追不上生产者的速度 监控Lead越来越小，甚至接近0，这预示着消费端要丢数据（因为只保存七天的数据，说明消息已经接近7天未被消费了）Linux监控 kafka-consumer-groups.sh--bootstrap-servernode1:9092
Redis可以像Kafka一样用作实时pub-sub。我不知道什么时候该用哪个。任何用例都会有很大的帮助。 最佳答案 Redispub-sub很像一个即发即弃的系统，您生成的所有消息都将立即传送给所有消费者，而数据无处保存。您对Redis的内存有限制。此外，生产者和消费者的数量会影响Redis的性能。另一方面，Kafka是一种高吞吐量的分布式日志，可以用作队列。在这里，任何数量的用户都可以生产，消费者可以随时消费。它还为通过队列发送的消息提供持久性。最终拍摄:使用Redis:如果您想要一个火而忘记的系统，您生成的所有消息都会立即传递
Redis可以像Kafka一样用作实时pub-sub。我不知道什么时候该用哪个。任何用例都会有很大的帮助。 最佳答案 Redispub-sub很像一个即发即弃的系统，您生成的所有消息都将立即传送给所有消费者，而数据无处保存。您对Redis的内存有限制。此外，生产者和消费者的数量会影响Redis的性能。另一方面，Kafka是一种高吞吐量的分布式日志，可以用作队列。在这里，任何数量的用户都可以生产，消费者可以随时消费。它还为通过队列发送的消息提供持久性。最终拍摄:使用Redis:如果您想要一个火而忘记的系统，您生成的所有消息都会立即传递
