草庐IT

go - 卡夫卡消费者组过期了吗？

coder 2024-07-10 原文

在我使用 golang 客户端提交偏移量后立即。 https://github.com/Shopify/sarama 

./kafka-consumer-offset-checker.sh --zookeeper=localhost:2181 --topic=my-replicated-topic --group=ib --broker-info 

Group           Topic                          Pid Offset          logSize         Lag             Owner

ib              my-replicated-topic            0   12              12              0               none

BROKER INFO

1 -> localhost:9093

但是，几分钟后，我运行了相同的检查器命令。 

./kafka-consumer-offset-checker.sh --zookeeper=localhost:2181 --topic=my-replicated-topic --group=ib --broker-info 


Exiting due to: org.apache.zookeeper.KeeperException$NoNodeException: KeeperErrorCode = NoNode for /consumers/ib/offsets/my-replicated-topic/0.

然后我检查了 zookeeper，该节点在任何时候都不存在，即使检查器正确列出了偏移量。

sarama 提交:23d523386ce0c886e56c9faf1b9c78b07e5b8c90 卡夫卡 0.8.2.1 golang 1.3

kafka 服务器配置:

broker.id=1
port=9093
num.network.threads=3
 num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/tmp/kafka-logs-1
num.partitions=1
num.recovery.threads.per.data.dir=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
log.cleaner.enable=false
zookeeper.connect=localhost:2181
zookeeper.connection.timeout.ms=6000

在我看来，消费者群体已经过期了。如何让消费组持久化？

最佳答案

Sarama 不与 zookeeper 对话，我应该使用高级消费者组库 反而。

https://github.com/Shopify/sarama/issues/452

关于go - 卡夫卡消费者组过期了吗？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/30342295/

卡夫gosectionzookeeperapache-kafka

有关go - 卡夫卡消费者组过期了吗？的更多相关文章

  1. ruby-on-rails - Textmate 'Go to symbol' 相当于 Vim - 2

    在Railcasts上，我注意到一个非常有趣的功能“转到符号”窗口。它像Command-T一样工作，但显示当前文件中可用的类和方法。如何在vim中获取它？ 最佳答案 尝试:helptags有各种程序和脚本可以生成标记文件。此外，标记文件格式非常简单，因此很容易将sed(1)或类似的脚本组合在一起，无论您使用何种语言，它们都可以生成标记文件。轻松获取标记文件(除了下载生成器之外)的关键在于格式化样式而不是实际解析语法。 关于ruby-on-rails-Textmate'Gotosymbol

  2. ruby - 在 Ruby 中实现生产者消费者模式 - 2

    假设我有200个昂贵的方法调用(每个都有不同的参数)。出于某种原因，我可以并行执行其中的5个调用，但不能更多。我可以一次执行一个，但一次执行5个要快5倍。我想一直执行五件事。不想排五个，等五个都排完了，再排五个。如果我排队A、B、C、D、E并且C先完成，我想立即用F替换它，即使A和B还没有完成。我一直在研究这个问题，因为我可以想象它会定期发生。解决方案似乎是生产者-消费者模式，Ruby在其标准库中内置了一些用于该模式的结构(Queue和SizedQueue)。我玩过代码示例，阅读了一些文档，我想我对它有一个粗略的了解。但是我有一些问题我对我的解决方案没有信心，而且多线程的整个领域对我来

  3. ruby - 执行过期异常使 Ruby 线程崩溃，但处理了 Timeout::Error - 2

    任何人都可以解释为什么当对方法的调用看起来像这样时我可能会看到这个堆栈(由HTTParty::post请求引起):beginresponse=HTTParty::post(url,options)rescuelogger.warn("Couldnotpostto#{url}")rescueTimeout::Errorlogger.warn("Couldnotpostto#{url}:timeout")end堆栈:/usr/local/lib/ruby/1.8/timeout.rb:64:in`timeout'/usr/local/lib/ruby/1.8/net/protocol.rb

  4. kafka如何动态消费新增topic主题 - 2

    一、解决痛点使用spring-kafka客户端，每次新增topic主题，都需要硬编码客户端并重新发布服务，操作麻烦耗时长。kafkaListener虽可以支持通配符消费topic，缺点是并发数需要手动改并且重启服务。对于业务逻辑相似场景，创建新主题动态监听可以用kafka-batch-starter组件二、组件能力1、新增topic名称为：auto.topic1（由于配置spring.kafka.consumer.prefix为auto，因此只有auto前缀的topic，才会被组件动态监听。）2、应用输出日志，监听到新增auto.topic1，并初始化客户端(主题刷新间隔为10s)3、发新的消

  5. ruby - instance_eval 的 block 参数 - 记录了吗？目的？ - 2

    刚刚意识到instance_eval产生self作为关联block的参数(除了1.9.2版本中的错误:http://www.ruby-forum.com/topic/189422)1.9.3p194:003>classC;end1.9.3p194:004>C.new.instance_eval{|*a|a}=>[#]1.9.3p194:005>这是否在某处记录/规范？看着ruby-doc:BasicObject,看不到提到的任何block参数。除了一些纯粹的历史原因之外，是否还有其他原因明确地传递它，而它自己总是被定义？我被这个击中的方式是:l=lambda{}myobj.instan

  6. ruby-on-rails - 用于 Ruby 的 vim 中的全局 "Go to definition"？ - 2

    自97年以来我一直在使用vi/vim进行各种快速编辑和管理任务，但最近才考虑使用它来替换Netbeans作为我选择的ruby​​编辑器。我发现一件事在Netbeans和Eclipse中非常有用的是Ctrl+Click“转到定义”功能，您可以在其中按住Ctrl键并单击一个类或方法，然后它将带您了解定义。现在，我玩过丰富的ctags和rails.vim，而且很接近，但没有雪茄。这就是我想要的:默认情况下在Netbeans和Eclipse中，您可以在本地rails中按住ctrl并单击本地方法或类项目，但你也可以ctrl+click定义在gems或用Ruby编写的系统库。以Netbeans为例

  7. Ruby - 执行已过期 - 2

    我有这样的ruby​​代码:begindoc=Nokogiri::HTML(open(url).read.strip)rescueException=>exlog.error"Error:#{ex}"end我得到的日志是:ERROR--:Error:executionexpired我想要block重新执行直到它成功。我该怎么做？ 最佳答案 我会稍微扩展一下我的评论。您可以使用retry返回到begin:begindoc=Nokogiri::HTML(open(url).read.strip)rescueException=>exlo

  8. ruby-on-rails - Rails 3.2.13 与 Rails 4.0.1 - 改变了吗？方法变了？ - 2

    我最近注意到ActiveRecord对象上的方法changed?在Rails3.2.13和Rails4.0.1之间发生了变化。问题在于连接到数据库中整数字段的字段。假设我的模型Model带有number整数字段:#Rails3.2.13m=Model.lastm.number#=>5m.number='5hello'm.number#=>5m.number_changed?#=>truem.changed?#=>truem.changes#=>{:number=>[5,5]}#Rails4.0.1m=Model.lastm.number#=>5m.number='5hello'm.nu

  9. ruby - 网站不再需要本地数据库了吗？ - 2

    Ifthere'sabetterplacetoaskthis,pleaseletmeknow.每次我建立一个新的网站/博客/购物车/等等，我都会不断尝试做以下事情:将常用功能提取到可重用代码中(主要是Rubygems和jQuery插件)如果可能，将该gem转换成一个小型服务，这样我就不必为所涉及的对象处理数据库(服务，我指的是精简的东西，通常使用SinatraWebFramework和一些核心模型构建).我的假设是，如果我可以消除对本地数据库的依赖，从长远来看，这将使它变得更容易和更具可扩展性(在可重用性和可管理性方面可扩展，不一定是数据库/性能)。我不确定这是好假设还是坏假设。你怎么

  10. ruby-on-rails - 如何将 Rails session cookie 过期时间设置为 "session" - 2

    我对Rails中不在表面上的部分不是很有经验。我想要的只是有一个sessioncookie，其过期时间设置为session，这样当用户离开浏览器或其他任何东西时它就会过期。作为安全措施。 最佳答案 默认情况下，cookie是sessioncookie。通过在config/initializers/session_store.rb中提供选项散列，您可以完全控制cookie。选项与Rack::Session::Cookie(seedocs)相同。因此，例如，对于特定的到期日期，您可以提供:expire_after。如果您使用Devise

随机推荐