草庐IT

kafka-consumer-groups

全部标签

java - 如何编写一个 Consumer 来计算它被调用了多少次?

我需要(主要是出于测试目的)编写一个消费者,其目的是记住它被调用了多少次。但是,我做不到inti=0;Consumerhandler=o->i++;因为i必须是final,我不能增加final变量。我想我需要类似MutableInteger类的东西。那么正确的计数方法是什么?仅仅为此编写我自己的新类或新方法不算是正确的方法。 最佳答案 使用AtomicInteger,它是使用CAS实现的.AtomicInteger有一个incrementAndGet()方法可以用于此目的。知道JDK中有更多的Atomic*变体也很有用,所以如果In

java - 启动实例 : VPC security groups may not be used for a non-VPC launch

我正在尝试在另一个区域创建一个实例,但出现此错误:AWSErrorCode:InvalidParameterCombination,AWSErrorMessage:VPCsecuritygroupsmaynotbeusedforanon-VPClaunch这是我正在执行的代码。RunInstancesRequestinstancereq=newRunInstancesRequest();instancereq.setInstanceType("m3.medium");instancereq.setImageId("ami-37b1b45e");instancereq.setMinCou

java - Kafka Connect 堆空间不足

启动KafkaConnect(connect-standalone)后,我的任务在启动后立即失败:java.lang.OutOfMemoryError:Javaheapspaceatjava.nio.HeapByteBuffer.(HeapByteBuffer.java:57)atjava.nio.ByteBuffer.allocate(ByteBuffer.java:335)atorg.apache.kafka.common.network.NetworkReceive.readFromReadableChannel(NetworkReceive.java:93)atorg.apac

Java 8, lambda : Sorting within grouped Lists and merging all groups to a list

基于以下答案:https://stackoverflow.com/a/30202075/8760211如何按stud_id对每个组进行排序,然后返回一个包含所有学生的列表作为按stud_location分组然后按stud_id排序的结果)?将其作为现有Lambda表达式的扩展会很棒:Map>studlistGrouped=studlist.stream().collect(Collectors.groupingBy(w->w.stud_location));我需要根据原始列表中元素的顺序进行分组。Firstgroup:"NewYork"Secondgroup:"California"T

java - 调试自定义 Kafka 连接器的简单有效方法是什么?

我正在使用几个Kafka连接器,我在控制台输出中没有看到它们的创建/部署有任何错误,但是我没有得到我正在寻找的结果(没有任何结果),期望或其他)。我根据Kafka的示例FileStream连接器制作了这些连接器,因此我的调试技术基于示例中使用的SLF4J记录器的使用。我搜索了我认为会在控制台输出中生成的日志消息,但无济于事。我是不是在错误的地方寻找这些消息?或者是否有更好的方法来调试这些连接器?我在实现中引用的SLF4J记录器的示例用法:KafkaFileStreamSinkTaskKafkaFileStreamSourceTask 最佳答案

Java 正则表达式 : Just get a part of the matcher group

我在Java中有一个正则表达式:Patternpattern=Pattern.compile(text.+);Matchermatcher=pattern.matcher(ganzeDatei);while(matcher.find()){Stringstring=matcher.group();...这工作正常,但输出类似于textName但我只想要这个:Name我该怎么做? 最佳答案 通过将其括在括号中来捕获要返回的文本,因此在此示例中,您的正则表达式应变为text(.+)然后您可以访问括号之间匹配的文本matcher.grou

java - 为kafka主题配置ACL

我有一个带有2个代理的不安全的kafka实例,在我决定为主题配置ACL之前,一切都运行良好,在ACL配置之后,我的消费者停止从Kafka轮询数据,并且我不断收到警告Errorwhilefetchingmetadatawithcorrelationid,我的代理属性如下所示:-listeners=PLAINTEXT://localhost:9092advertised.listeners=PLAINTEXT://localhost:9092authorizer.class.name=kafka.security.auth.SimpleAclAuthorizerallow.everyone

java - Kafka Java 消费者被标记为组死亡

我正在使用Java消费者来消费来自主题(kafka版本0.10.0.1)的消息,如果我在docker容器之外运行它们,它会正常工作。但是,当我在docker容器中执行它们时,这些组将被标记为已死亡并显示消息Markingthecoordinatorlocal.kafka.com:9092(id:2147483647rack:null)deadforgroupmy-group我的消费者配置如下:-metadata.max.age.ms=300000partition.assignment.strategy=[org.apache.kafka.clients.consumer.RangeA

java - 保证将多条消息传递到 Kafka 集群

如果我连续向Kafka集群发布多条消息(使用newProducerAPI),我会从生产者那里为每条消息获得一个Future。现在,假设我已将生产者配置为max.in.flight.requests.per.connection=1和retries>0我可以等待最后一个future并确定所有以前的也已经交付(并按顺序)?还是我需要等待所有future?在代码中,我可以这样做吗:Producerproducer=newKafkaProducer(myConfig);Futuref=null;for(MessageTypemessage:messages){f=producer.send(n

java - Kafka 流关闭并且不运行

大家早上好我正在尝试运行KafkaStream应用程序,但每次我尝试时,它都会按顺序启动和关闭。下面是控制台打印的结果[main]WARNorg.apache.kafka.clients.consumer.ConsumerConfig-Theconfiguration'admin.retries'wassuppliedbutisn'taknownconfig.[main]INFOorg.apache.kafka.common.utils.AppInfoParser-Kafkaversion:2.1.0[main]INFOorg.apache.kafka.common.utils.App