草庐IT

关于java：Kafka领导人选举导致Kafka Streams崩溃

codeneng 2023-03-28 原文

Kafka leader election causes Kafka Streams crash

我有一个 Kafka Streams 应用程序从 Kafka 集群消费和生产，该集群有 3 个代理和复制因子 3。除了消费者偏移主题(50 个分区)之外，所有其他主题每个只有一个分区。

当代理尝试首选副本选举时，Streams 应用程序(运行在与代理完全不同的实例上)失败并显示错误：

1
2
3
4
5
Caused by: org.apache.kafka.streams.errors.StreamsException: task [0_0] exception caught when producing
    at org.apache.kafka.streams.processor.internals.RecordCollectorImpl.checkForException(RecordCollectorImpl.java:119)
    ...
    at org.apache.kafka.streams.processor.internals.StreamTask.process(StreamTask.java:197)
Caused by: org.apache.kafka.common.errors.NotLeaderForPartitionException: This server is not the leader for that topic-partition.

Streams 应用程序尝试成为分区的领导者是否正常，因为它运行在不属于 Kafka 集群的服务器上？

我可以通过以下方式按需重现此行为：

  • 杀死其中一个经纪人(然后其他 2 个作为领导者接管以被杀死经纪人作为领导者的所有分区，正如预期的那样)
  • 让被杀的经纪人重新站起来
  • 使用 bin/kafka-preferred-replica-election.sh --zookeeper localhost 触发首选副本领导者选举

    • 我的问题似乎与这个报告的失败类似，所以我想知道这是否是一个新的 Kafka Streams 错误。我的完整堆栈跟踪实际上与报告的失败(此处)中链接的要点完全相同。

    另一个可能有趣的细节是，在领导选举期间，我在代理的 controller.log 中收到这些消息：

    1
    2
    3
    4
    5
    6
    7
    8
    [2017-04-12 11:07:50,940] WARN [Controller-3-to-broker-3-send-thread], Controller 3's connection to broker BROKER-3-HOSTNAME:9092 (id: 3 rack: null) was unsuccessful (kafka.controller.RequestSendThread)
    java.io.IOException: Connection to BROKER-3-HOSTNAME:9092 (id: 3 rack: null) failed
        at kafka.utils.NetworkClientBlockingOps$.awaitReady$1(NetworkClientBlockingOps.scala:84)
        at kafka.utils.NetworkClientBlockingOps$.blockingReady$extension(NetworkClientBlockingOps.scala:94)
        at kafka.controller.RequestSendThread.brokerReady(ControllerChannelManager.scala:232)
        at kafka.controller.RequestSendThread.liftedTree1$1(ControllerChannelManager.scala:185)
        at kafka.controller.RequestSendThread.doWork(ControllerChannelManager.scala:184)
        at kafka.utils.ShutdownableThread.run(ShutdownableThread.scala:63)

    我一开始以为是这个连接错误，但是在领导选举导致 Streams 应用程序崩溃后，如果我重新启动 Streams 应用程序，它会正常工作，直到下一次选举，而我根本不需要接触代理。

    所有服务器(3 个 Kafka 代理和 Streams 应用程序)都在 EC2 实例上运行。

    这个问题现在在 0.10.2.1 中得到修复。如果您无法选择，请确保在您的流配置中按如下方式设置这两个参数：

    1
    2
    3
    4
    final Properties props = new Properties();
    ...
    props.put(ProducerConfig.RETRIES_CONFIG, 10);  
    props.put(ConsumerConfig.MAX_POLL_INTERVAL_MS_CONFIG, Integer.toString(Integer.MAX_VALUE));

    • 这两个参数以及 props.put(ConsumerConfig.SESSION_TIMEOUT_MS_CONFIG, 20000); 解决了问题！谢谢！

    Kafka领导人spanclasssectionapache-kafkaapache-kafka-streamsjava

    有关关于java：Kafka领导人选举导致Kafka Streams崩溃的更多相关文章

    1. java - 等价于 Java 中的 Ruby Hash - 2

      我真的很习惯使用Ruby编写以下代码:my_hash={}my_hash['test']=1Java中对应的数据结构是什么？ 最佳答案 HashMapmap=newHashMap();map.put("test",1);我假设？ 关于java-等价于Java中的RubyHash，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/22737685/

    2. java - 从 JRuby 调用 Java 类的问题 - 2

      我正在尝试使用boilerpipe来自JRuby。我看过guide从JRuby调用Java，并成功地将它与另一个Java包一起使用，但无法弄清楚为什么同样的东西不能用于boilerpipe。我正在尝试基本上从JRuby中执行与此Java等效的操作:URLurl=newURL("http://www.example.com/some-location/index.html");Stringtext=ArticleExtractor.INSTANCE.getText(url);在JRuby中试过这个:require'java'url=java.net.URL.new("http://www

    3. java - 我的模型类或其他类中应该有逻辑吗 - 2

      我只想对我一直在思考的这个问题有其他意见，例如我有classuser_controller和classuserclassUserattr_accessor:name,:usernameendclassUserController//dosomethingaboutanythingaboutusersend问题是我的User类中是否应该有逻辑user=User.newuser.do_something(user1)oritshouldbeuser_controller=UserController.newuser_controller.do_something(user1,user2)我

    4. java - 什么相当于 ruby​​ 的 rack 或 python 的 Java wsgi？ - 2

      什么是ruby​​的rack或python的Java的wsgi？还有一个路由库。 最佳答案 来自Python标准PEP333:Bycontrast,althoughJavahasjustasmanywebapplicationframeworksavailable,Java's"servlet"APImakesitpossibleforapplicationswrittenwithanyJavawebapplicationframeworktoruninanywebserverthatsupportstheservletAPI.ht

    5. Observability：从零开始创建 Java 微服务并监控它 （二） - 2

      这篇文章是继上一篇文章“Observability：从零开始创建Java微服务并监控它（一）”的续篇。在上一篇文章中，我们讲述了如何创建一个Javaweb应用，并使用Filebeat来收集应用所生成的日志。在今天的文章中，我来详述如何收集应用的指标，使用APM来监控应用并监督web服务的在线情况。源码可以在地址 https://github.com/liu-xiao-guo/java_observability 进行下载。摄入指标指标被视为可以随时更改的时间点值。当前请求的数量可以改变任何毫秒。你可能有1000个请求的峰值，然后一切都回到一个请求。这也意味着这些指标可能不准确，你还想提取最小/

    6. 【Java 面试合集】HashMap中为什么引入红黑树，而不是AVL树呢 - 2

      HashMap中为什么引入红黑树，而不是AVL树呢1.概述开始学习这个知识点之前我们需要知道，在JDK1.8以及之前，针对HashMap有什么不同。JDK1.7的时候，HashMap的底层实现是数组+链表JDK1.8的时候，HashMap的底层实现是数组+链表+红黑树我们要思考一个问题，为什么要从链表转为红黑树呢。首先先让我们了解下链表有什么不好？？？2.链表上述的截图其实就是链表的结构，我们来看下链表的增删改查的时间复杂度增：因为链表不是线性结构，所以每次添加的时候，只需要移动一个节点，所以可以理解为复杂度是N(1)删：算法时间复杂度跟增保持一致查：既然是非线性结构，所以查询某一个节点的时候

    7. 【Java入门】使用Java实现文件夹的遍历 - 2

      遍历文件夹我们通常是使用递归进行操作，这种方式比较简单，也比较容易理解。本文为大家介绍另一种不使用递归的方式，由于没有使用递归，只用到了循环和集合，所以效率更高一些！一、使用递归遍历文件夹整体思路1、使用File封装初始目录，2、打印这个目录3、获取这个目录下所有的子文件和子目录的数组。4、遍历这个数组，取出每个File对象4-1、如果File是否是一个文件，打印4-2、否则就是一个目录，递归调用代码实现publicclassSearchFile{publicstaticvoidmain(String[]args){//初始目录Filedir=newFile("d:/Dev");Datebeg

    8. java - 为什么 ruby​​ modulo 与 java/other lang 不同？ - 2

      我基本上来自Java背景并且努力理解Ruby中的模运算。(5%3)(-5%3)(5%-3)(-5%-3)Java中的上述操作产生，2个-22个-2但在Ruby中，相同的表达式会产生21个-1-2.Ruby在逻辑上有多擅长这个？模块操作在Ruby中是如何实现的？如果将同一个操作定义为一个web服务，两个服务如何匹配逻辑。 最佳答案 在Java中，模运算的结果与被除数的符号相同。在Ruby中，它与除数的符号相同。remainder()在Ruby中与被除数的符号相同。您可能还想引用modulooperation.

    9. java - Ruby 相当于 Java 的 Collections.unmodifiableList 和 Collections.unmodifiableMap - 2

      Java的Collections.unmodifiableList和Collections.unmodifiableMap在Ruby标准API中是否有等价物？ 最佳答案 使用freeze应用程序接口(interface):Preventsfurthermodificationstoobj.ARuntimeErrorwillberaisedifmodificationisattempted.Thereisnowaytounfreezeafrozenobject.SeealsoObject#frozen?.Thismethodretur

    10. Ruby 守护进程导致 ActiveRecord 记录器 IOError - 2

      我目前正在用Ruby编写一个项目，它使用ActiveRecordgem进行数据库交互，我正在尝试使用ActiveRecord::Base.logger记录所有数据库事件具有以下代码的属性ActiveRecord::Base.logger=Logger.new(File.open('logs/database.log','a'))这适用于迁移等(出于某种原因似乎需要启用日志记录，因为它在禁用时会出现NilClass错误)但是当我尝试运行包含调用ActiveRecord对象的线程守护程序的项目时脚本失败并出现以下错误/System/Library/Frameworks/Ruby.frame

    随机推荐