草庐IT

Kafka-connect

全部标签

java - 保证将多条消息传递到 Kafka 集群

如果我连续向Kafka集群发布多条消息(使用newProducerAPI),我会从生产者那里为每条消息获得一个Future。现在,假设我已将生产者配置为max.in.flight.requests.per.connection=1和retries>0我可以等待最后一个future并确定所有以前的也已经交付(并按顺序)?还是我需要等待所有future?在代码中,我可以这样做吗:Producerproducer=newKafkaProducer(myConfig);Futuref=null;for(MessageTypemessage:messages){f=producer.send(n

java - Kafka 流关闭并且不运行

大家早上好我正在尝试运行KafkaStream应用程序,但每次我尝试时,它都会按顺序启动和关闭。下面是控制台打印的结果[main]WARNorg.apache.kafka.clients.consumer.ConsumerConfig-Theconfiguration'admin.retries'wassuppliedbutisn'taknownconfig.[main]INFOorg.apache.kafka.common.utils.AppInfoParser-Kafkaversion:2.1.0[main]INFOorg.apache.kafka.common.utils.App

java - Apache Camel Kafka - 聚合 kafka 消息并定期发布到不同的主题

我有一个用例:我需要定期读取和聚合来自kafka主题的消息,然后发布到不同的主题。本地存储不是一个选项。这就是我计划解决这个问题的方式,欢迎提出任何改进建议为了调度kafka消息的聚合和发布,计划使用AggregatorEIP的completionInterval选项。这是代码。@AutowiredObjectMapperobjectMapper;JacksonDataFormatjacksonDataFormat;@PostConstructpublicvoidinitialize(){//objectMapper.setPropertyNamingStrategy(Property

java - Kafka Consumer如何从多个assigned Partition中消费

tl;dr;我试图了解分配了多个分区的单个消费者如何处理到达分区的消费记录。例如:在移动到下一个之前完全处理单个分区。每次从每个分区处理一大块可用记录。从第一个可用分区处理一批N条记录以循环方式处理来自分区的一批N条记录我找到了Ranged或RoundRobin分配器的partition.assignment.strategy配置,但这只决定了消费者如何分配分区,而不是它如何分配从分配给它的分区中消耗。我开始深入研究KafkaConsumer源代码并#poll()带我去#pollForFetches()#pollForFetches()然后带我到fetcher#fetchedRecor

java - Apache HTTPClient 抛出 java.net.SocketException : Connection reset for many domains

我正在创建一个(表现良好的)网络蜘蛛,我注意到一些服务器导致ApacheHttpClient给我一个SocketException——特别是:java.net.SocketException:Connectionreset导致这个的代码是://ExecutetherequestHttpResponseresponse;try{response=httpclient.execute(httpget);//httpclientisoftypeHttpClient}catch(NullPointerExceptione){return;//deepdowninapachehttpsometi

java - "RMI TCP Connection(idle)"线程对应什么类型的连接?

我正在使用jdk1.6开发基于RMI的分布式系统。有时我会看到RMI运行时未能序列化对象时该线程发生的ConcurrentModificationException错误。通过同时更新从远程方法返回的对象,我可以轻松地重现该异常。但问题是我找不到那些电话的来源。RMI异常被写入stderr(在退出远程对象方法后在运行时代码中在服务器端捕获),但在客户端服务中没有匹配的异常(如果那是合法的远程调用,RemoteException将引发适当的原因)。这些异常的唯一不同之处在于它们发生在“RMITCP连接(空闲)”线程上,而不是发生在“RMITCP连接()-”之类的线程上。关于RMI中那些“空

java - MS SQL 服务器和 JDBC : closed connection

我得到了I/OError:DBserverclosedconnection.从Java代码连接到MSSQLServer2008时。SQL服务器处于混合模式并且在本地计算机中。我的连接字符串是jTDSjdbc:jtds:sqlserver://machineName:1433;databaseName=DB;integratedSecurity=true堆栈跟踪是java.sql.SQLException:I/OError:DBserverclosedconnection.atnet.sourceforge.jtds.jdbc.TdsCore.nextToken(TdsCore.java

【已解决】Failed to connect to github.com port 443 : Timed out

Failedtoconnecttogithub.comport443:Timedout问题描述:如下图所示,无法gitclone来自Github上的仓库,报端口443错误问题分析:git所设端口与系统代理不一致,需重新设置。解决方法:操作如下图所示①打开设置>网络与Internet>代理②记录下当前系统代理的IP地址和端口号。如上图所示,地址与端口号为:127.0.0.1:7890③修改git的网络设置注意修改成自己的IP和端口号gitconfig--globalhttp.proxyhttp://127.0.0.1:7890gitconfig--globalhttps.proxyhttp://

java - Spring Kafka-用Producer Listener配置KafkaTemplate和用Listenable Future注册回调的区别

所以我在浏览Springkafka文档时遇到了ProducerListener。这是SpringKafka文档所说的-“可选地,您可以使用ProducerListener配置KafkaTemplate以获取包含发送结果(成功或失败)的异步回调,而不是等待Future完成。”他们还指定了接口(interface)-publicinterfaceProducerListener{voidonSuccess(Stringtopic,Integerpartition,Kkey,Vvalue,RecordMetadatarecordMetadata);voidonError(Stringtopi

17、Kafka ------ SpringBoot 整合 Kafka 发送 和 接收消息(使用 KafkaTemplate 发送消息 和 使用 @KafkaListener 修饰监听器来接收消息)

目录SpringBoot整合Kafka发送和接收消息使用KafkaTemplate发送消息1、配置自动创建主题(代码)2、发送消息(代码)1、controller2、service3、演示1、启动应用程序2、启动一个消息监听者3、发送各种消息发送不带key消息发送带key消息4、与KafkaTemplat有关的事务和消息转换器使用@KafkaListener修饰监听器来接收消息接收消息配置监听器的容器工厂单条消息的监听器批处理的监听器代码演示:1、配置文件:2、创建消息监听器3、结果演示1、监听方法不属于同一个组2、监听方法属于同一个组3、总结完整代码1、application.propert