草庐IT

Kafka某个Topic无法消费问题

YuG丶 2023-06-05 原文

问题描述

12月28日，公司测试环境Kafka的task.build.metadata.flow这个topic突然无法消费。

其他topic都正常使用，这个topic只有一个分区，并且只有一个消费者

查找问题原因

首先登录服务器，运行kafka的cli命令，查看消费者组的详情。

# 进入kafka安装目录下的bin目录执行
./kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --describe --group 消费者组名称


由上图可以发现，task.build.metadata.flow这个topic，最新offset是2，但是当前offset只到1，还有一条未消费。
并且该消费者组显示没有客户端正在消费这个topic。

查看项目日志发现以下内容：

分析项目日志，可以看出：

  1. 消费者是消费过数据的（有一行日志打印）。但是日志中只发现过一次消费记录。
  2. 在项目没有重新发布，没有消费者增加，分区数没有改变的情况下，kafka执行过Rebalance机制。
什么是Rebalance：
Rebalance 本质上是一种协议，规定了一个 Consumer Group 下的所有 consumer 如何达成一致，来分配订阅 Topic 的每个分区。
简单来说，就是把 Topic 中所有的分区，按照一定的规则分配给 Consumer Group 下的所有 consumer。
例如：某 Group 下有 3 个 consumer 实例，它订阅了一个具有 9 个 partition 的 Topic。
正常情况下，kafka 会为每个 Consumer 平均的分配 3 个分区。这个分配的过程就是 Rebalance。
触发 Rebalance 的时机：
1. Consumer Group 中的 Consumer 数量发生变化时。
2. 订阅的 Topic 数量发生变化时。
3. 订阅 Topic 的分区发生变化时。
Rebalance 发生时，Group 下所有 consumer 实例都会协调在一起共同参与，kafka 能够保证尽量达到最公平的分配。
但是 Rebalance 过程对 consumer group 会造成比较严重的影响。
在 Rebalance 的过程中 consumer group 下的所有消费者实例都会停止工作，等待 Rebalance 过程完成

解决问题

首先，日志中显示项目曾经消费过这个topic，但是只消费一次，后续不再消费，并且之后kafka发生Rebalance。结合使用kafka cli命令查看的消费者组详情，分析出：

消费者第一次可以消费数据，但是由于某种原因，消费后，消费者下线，然后触发了Rebalance机制，导致后续使用cli查看消费者详情的时候，看不到这个topic有客户端。

基于这个思路，我们把项目中消费者的代码全部注释，只留一行日志记录。然后发布项目后，再次生产一条消息查看是否能够消费。
根据多次测试结果发现消费是正常的。
那么问题应该就出现在消费者的代码中了，应该是代码中的操作影响到了kafka，导致kafka进行Rebalance。

查阅Rebalance相关资料发现：

原文出处：https://blog.csdn.net/qq_21383435/article/details/108720155

因为涉及到的参数原理较多，这里简单描述下：
因为kafka要保证消费者一直在正常消费，所以加了心跳，超时等机制，用来判断消费者是否正常。
由于我们的消费者代码执行太慢，超时了，导致kafka服务端认为消费者已经挂掉，所以将这个消费者踢出。
踢出消费者后，因为消费者数量发生变化，所以触发了Rebalance机制。
所以我们在分析日志时可以看到，消费者是消费过一次数据的，并且消费后一段时间（kafka消费者的超时时间）触发了Rebalance机制，在之后，使用kafka cli命令查看消费者组详情的时候，就看不到对应的消费者了。

至此，kafka某一个topic消费不到数据的问题已经发现原因了。
原因找到了，至于解决方案就很多了：

  1. 调整超时时间
  2. 优化代码执行速度，或者改成线程池异步执行

因为我们的消费者代码很简单，只是调用apache atlas的api接口推送数据，但是因为未知原因，atlas接口调用比较慢，不能确定具体执行时长，所以我们选择了方案二。

按照解决方案修改代码后，部署测试，发现已经正常。

问题延伸

经过此次问题，延伸出一些kafka相关的知识需要巩固。

  1. kafka的Rebalance机制（为什么要有Rebalance机制，什么情况下会触发Rebalance机制）
  2. kafka消费的超时问题（session.timout.ms，heartbeat.interval.ms，max.poll.interval.ms三个参数）
KafkaTopicxff0cxffxff0java

有关Kafka某个Topic无法消费问题的更多相关文章

  1. ruby-on-rails - 由于 "wkhtmltopdf"，PDFKIT 显然无法正常工作 - 2

    我在从html页面生成PDF时遇到问题。我正在使用PDFkit。在安装它的过程中，我注意到我需要wkhtmltopdf。所以我也安装了它。我做了PDFkit的文档所说的一切......现在我在尝试加载PDF时遇到了这个错误。这里是错误:commandfailed:"/usr/local/bin/wkhtmltopdf""--margin-right""0.75in""--page-size""Letter""--margin-top""0.75in""--margin-bottom""0.75in""--encoding""UTF-8""--margin-left""0.75in""-

  2. ruby - 在 64 位 Snow Leopard 上使用 rvm、postgres 9.0、ruby 1.9.2-p136 安装 pg gem 时出现问题 - 2

    我想为Heroku构建一个Rails3应用程序。他们使用Postgres作为他们的数据库，所以我通过MacPorts安装了postgres9.0。现在我需要一个postgresgem并且共识是出于性能原因你想要pggem。但是我对我得到的错误感到非常困惑当我尝试在rvm下通过geminstall安装pg时。我已经非常明确地指定了所有postgres目录的位置可以找到但仍然无法完成安装:$envARCHFLAGS='-archx86_64'geminstallpg--\--with-pg-config=/opt/local/var/db/postgresql90/defaultdb/po

  3. ruby - 通过 rvm 升级 ruby​​gems 的问题 - 2

    尝试通过RVM将RubyGems升级到版本1.8.10并出现此错误:$rvmrubygemslatestRemovingoldRubygemsfiles...Installingrubygems-1.8.10forruby-1.9.2-p180...ERROR:Errorrunning'GEM_PATH="/Users/foo/.rvm/gems/ruby-1.9.2-p180:/Users/foo/.rvm/gems/ruby-1.9.2-p180@global:/Users/foo/.rvm/gems/ruby-1.9.2-p180:/Users/foo/.rvm/gems/rub

  4. ruby-on-rails - 无法使用 Rails 3.2 创建插件？ - 2

    我对最新版本的Rails有疑问。我创建了一个新应用程序(railsnewMyProject)，但我没有脚本/生成，只有脚本/rails，当我输入ruby./script/railsgeneratepluginmy_plugin"Couldnotfindgeneratorplugin.".你知道如何生成插件模板吗？没有这个命令可以创建插件吗？PS:我正在使用Rails3.2.1和ruby​​1.8.7[universal-darwin11.0] 最佳答案 随着Rails3.2.0的发布，插件生成器已经被移除。查看变更日志here.现在

  5. ruby - 无法运行 Rails 2.x 应用程序 - 2

    我尝试运行2.x应用程序。我使用rvm并为此应用程序设置其他版本的ruby​​:$rvmuseree-1.8.7-head我尝试运行服务器，然后出现很多错误:$script/serverNOTE:Gem.source_indexisdeprecated,useSpecification.Itwillberemovedonorafter2011-11-01.Gem.source_indexcalledfrom/Users/serg/rails_projects_terminal/work_proj/spohelp/config/../vendor/rails/railties/lib/r

  6. ruby-on-rails - 无法在centos上安装therubyracer(V8和GCC出错) - 2

    我正在尝试在我的centos服务器上安装therubyracer，但遇到了麻烦。$geminstalltherubyracerBuildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingtherubyracer:ERROR:Failedtobuildgemnativeextension./usr/local/rvm/rubies/ruby-1.9.3-p125/bin/rubyextconf.rbcheckingformain()in-lpthread...yescheckingforv8.h...no***e

  7. ruby - 无法让 RSpec 工作—— 'require' : cannot load such file - 2

    我花了三天的时间用头撞墙，试图弄清楚为什么简单的“rake”不能通过我的规范文件。如果您遇到这种情况:任何文件夹路径中都不要有空格!。严重地。事实上，从现在开始，您命名的任何内容都没有空格。这是我的控制台输出:(在/Users/*****/Desktop/LearningRuby/learn_ruby)$rake/Users/*******/Desktop/LearningRuby/learn_ruby/00_hello/hello_spec.rb:116:in`require':cannotloadsuchfile--hello(LoadError) 最佳

  8. ruby - 通过 RVM (OSX Mountain Lion) 安装 Ruby 2.0.0-p247 时遇到问题 - 2

    我的最终目标是安装当前版本的RubyonRails。我在OSXMountainLion上运行。到目前为止，这是我的过程:已安装的RVM$\curl-Lhttps://get.rvm.io|bash-sstable检查已知(我假设已批准)安装$rvmlistknown我看到当前的稳定版本可用[ruby-]2.0.0[-p247]输入命令安装$rvminstall2.0.0-p247注意:我也试过这些安装命令$rvminstallruby-2.0.0-p247$rvminstallruby=2.0.0-p247我很快就无处可去了。结果:$rvminstall2.0.0-p247Search

  9. ruby - Fast-stemmer 安装问题 - 2

    由于fast-stemmer的问题，我很难安装我想要的任何ruby​​gem。我把我得到的错误放在下面。Buildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingfast-stemmer:ERROR:Failedtobuildgemnativeextension./System/Library/Frameworks/Ruby.framework/Versions/2.0/usr/bin/rubyextconf.rbcreatingMakefilemake"DESTDIR="cleanmake"DESTDIR=

  10. ruby - 无法覆盖 irb 中的 to_s - 2

    我在pry中定义了一个函数:to_s，但我无法调用它。这个方法去哪里了，怎么调用？pry(main)>defto_spry(main)*'hello'pry(main)*endpry(main)>to_s=>"main"我的ruby版本是2.1.2看了一些答案和搜索后，我认为我得到了正确的答案:这个方法用在什么地方？在irb或pry中定义方法时，会转到Object.instance_methods[1]pry(main)>defto_s[1]pry(main)*'hello'[1]pry(main)*end=>:to_s[2]pry(main)>defhello[2]pry(main)

随机推荐