草庐IT

kafka-stream

全部标签

java - 如何选择一个Kafka transaction.id

我想知道我能否在理解Kafka中的交易方面获得帮助,尤其是如何使用transaction.id。这里是上下文:我的Kafka应用程序遵循以下模式:使用来自输入主题的消息,进行处理,然后发布到输出主题。我不使用KafkaStreamsAPI。我在一个消费者组中有多个消费者,每个消费者都在自己的轮询线程中。有一个带有工作线程的线程池,该线程用于执行消息处理并将其发布到输出主题。目前,每个线程都有自己的生产者实例。我正在使用已发布的事务API,以确保消耗偏移量的更新和对输出主题的发布原子地进行到目前为止,我的假设包括:如果我的进程在中间事务中崩溃,那么该事务中的任何内容都不会发布,也不会消耗

java - Spliterator 与 Stream.Builder

我读了一些关于如何创建有限的Stream的问题(FinitegeneratedStreaminJava-howtocreateone?,Howdostreamsstop?).建议实现Spliterator的答案。Spliterator将实现如何提供以及下一个提供哪个元素的逻辑(tryAdvance)。但是还有另外两个非默认方法trySplit和estimateSize()我必须实现。Spliterator的JavaDoc说:Anobjectfortraversingandpartitioningelementsofasource.Thesourceofelementscoveredby

Kafka 之 AdminClient 配置

目录一.前言二.AdminClient原理和功能2.1.AdminClient原理2.2. AdminClient功能三. AdminClient配置四. Kafka>=2.0.0 版本五.Kafka>= 2.1.0版本六. Kafka>=2.7 版本一.前言  一般情况下,我们都习惯使用kafka-topics.sh脚本来管理主题,但有些时候我们希望将主题管理类的功能集成到公司内部的系统中,打造集管理、监控、运维、告警为一体的生态平台,那么就需要以程序调用API的方式去实现。  Kafka社区于0.11版本正式推出了Java客户端版的AdminClient,并不断地在后续的版本中对它进行完善

java - 如何在 Java 8 Stream API 中使用 Collectors.grouping 来创建 map

我第一次寻找Java8的StreamAPI。我尝试创建一个过滤器来从Map中删除元素。这是我的map:Mapm=newHashMap();我想删除值)。这是我一直在尝试的:m.entrySet().stream().filter(p->p.getValue()>0).collect(Collectors.groupingBy(s->s.getKey()));我得到一个HashMap>。所以,这不是我想要的。我也试过:m.entrySet().stream().filter(p->p.getValue()>0).collect(Collectors.groupingBy(Map::Ent

java - 如何使用 Stream API 随机播放流?

我决定采用函数式方法生成字符串或随机字符,到目前为止我想到了这个,它应该比装箱然后使用StringJoiner作为收集器执行得更好:Randomrandom=newRandom();StringrandomString=IntStream.concat(random.ints(8,'a','z'),random.ints(8,'A','Z')).collect(StringBuilder::new,(sb,i)->sb.append((char)i),(sb1,sb2)->sb1.append(sb2)).toString();我想生成16个字符的流,范围从a-z或A-Z,我遇到的问题

具有 3 个参数的 Java8 stream.reduce() - 获得透明度

我编写这段代码是为了将单词列表缩减为一个很长的计数,即有多少单词以“A”开头。我编写它只是为了学习Java8,所以我想更好地理解它[免责声明:我意识到这可能不是编写此代码的最佳方式;这只是为了练习!]。LongcountOfAWords=results.stream().reduce(0L,(a,b)->b.charAt(0)=='A'?a+1:a,Long::sum);中间参数/lambda(称为累加器)似乎能够在没有最终“Combiner”参数的情况下减少完整列表。事实上,Javadoc实际上说:The{@codeaccumulator}functionactsasafusedma

java - Kafka - TimestampExtractor 的问题

我使用org.apache.kafka:kafka-streams:0.10.0.1我正在尝试使用一个基于时间序列的流,它似乎不会触发KStream.Process()来触发(“标点符号”)。(引用here)在KafkaStreams配置中,我传递了这个参数(以及其他参数):config.put(StreamsConfig.TIMESTAMP_EXTRACTOR_CLASS_CONFIG,EventTimeExtractor.class.getName());这里,EventTimeExtractor是一个自定义时间戳提取器(实现了org.apache.kafka.streams.pr

java - Spring Kafka - 如何使用组 ID 将偏移量重置为最新?

我目前正在使用SpringIntegrationKafka做实时统计。但是,组名使Kafka搜索监听器未读取的所有先前值。@Value("${kafka.consumer.group.id}")privateStringconsumerGroupId;@BeanpublicConsumerFactoryconsumerFactory(){returnnewDefaultKafkaConsumerFactory(getDefaultProperties());}publicMapgetDefaultProperties(){Mapproperties=newHashMap();prope

java - Stream.sorted() 然后收集,还是收集然后 List.sort()?

这个问题在这里已经有了答案:Whatismoreefficient:sortedstreamorsortingalist?(3个答案)关闭4年前。总的来说,这两段代码在性能上有区别吗?Listlist1=someStream1.sorted().collect(toList());//vs.Listlist2=someStream2.collect(toList());list2.sort(Comparator.naturalOrder())变体2显然令人讨厌,应该避免,但我很好奇Stream的主流(嘿,mainstream)实现是否内置了任何性能优化,从而提高了性能两者的区别。我想因

java - 输入 stream.read 返回 0 或 -1?

有什么区别byte[]buffer=newbyte[1024];//this:if(inputStream.read(buffer)>0){/*...*/}//and:if(inputStream.read(buffer)!=-1){/*...*/}都可以判断网络流终止吗? 最佳答案 InputStream.read()的Javadocs说:Ifthelengthofbiszero,thennobytesarereadand0isreturned在正常使用中,这种情况永远不会发生,因此明确测试这种情况没有多大意义。(如果您想避免永远