草庐IT

Kafka-connect

全部标签

Java Kafka 消费者组未能消费一些消息

注意到一个问题,其中Kafka消费者组(用java实现)始终错过来自代理的一些消息。作为调试的第一线,通过kafka控制台消费者,我可以看到代理中可用的那些消息。Kafka代理版本:0.10.1.0Kafka客户端版本:org.apache.kafkakafka_2.110.9.0.1Kafka消费者配置:Propertiesprops=newProperties();props.put("bootstrap.servers","broker1,broker2,broker3");props.put("group.id","myGroupIdForDemo");props.put("k

java - 尝试使用 Spring-WS - "Connection timed out"访问 WS 服务器,但服务器在使用 SOAP UI 测试时响应

问题我正在接管JavaWeb服务客户端的开发工作,为了测试改进,我必须从远程Web服务服务器(嵌入在运行在tomcat实例中的ApacheAxis2中)请求一个方法。首先,我使用服务器提供的WSDL通过SOAPUI请求该方法。它工作正常。现在我尝试通过我的JavaWeb服务客户端请求该方法,但我无法连接到服务器,即使使用SOAPUI的测试证明一切正常。JavaWeb服务客户端依赖于Spring-WS。从客户端调用网络服务//SettingthekycScoreRequest...//TryingtoconnectandtogetthekycScoreResponseKycScoreRe

java - IO异常 : Network adapter could not establish the connection

这个问题在这里已经有了答案:TheNetworkAdaptercouldnotestablishtheconnectionwhenconnectingwithOracleDB(4个答案)关闭6年前。我们开始在生产环境中时不时出现“网络适配器无法建立连接”的问题,我做了很多谷歌并在这里解决了一些问题,但仍然没有得到解决方案。这里有一些关于我们环境的信息:我们将RAC与2个oracle实例(版本10.2.0.4)结合使用。我们有几个应用服务器(JBossAS5)在RAC上运行。oracle-ds.xml中的连接url是“jdbc:oracle:thin:@(DESCRIPTION=(ADD

java - 如何从 java.sql.Connection 获取用户名?

我有一个在Weblogic中创建的SQLServer数据源,用户名为“sa”。在代码中,我使用以下方法获取用户名。Contextctx=newInitialContext(prop);Objectobj=ctx.lookup("sqlserver1");System.out.println("DataSourceFound….");DataSourceds=(DataSource)obj;Connectionconn=ds.getConnection();DatabaseMetaDatamtdt=conn.getMetaData();//GetUserNameSystem.out.pr

java - 如何在消费消息时访问 Kafka header ?

下面是我的配置inputFromKafka经过下面的转换publicMessagetransform(finalMessagemessage){System.out.println("KAFKAMessageHeaders"+message.getHeaders());finalMap>>origData=(Map>>)message.getPayload();//somecodetofigure-outthenonPartitionedDatareturnMessageBuilder.withPayload(nonPartitionedData).build();}不管怎样,上面的打

java - Wildfly 10 无法连接数据源 : invalid connection

问题我正在尝试测试我的连接,它一直给我同样的错误,而乍一看我看不出我做错了什么。也许我忽略了一些东西......错误nexpectedHTTPresponse:500Request{"address"=>[("subsystem"=>"datasources"),("data-source"=>"ProjectenDS")],"operation"=>"test-connection-in-pool"}ResponseInternalServerError{"outcome"=>"failed","failure-description"=>"WFLYJCA0040:failedtoi

java - 为什么消费者在使用 Java 客户端 API 在 DC/OS 上使用来自 Kafka 的消息时挂起?

我在AWS上的DC/OS(Mesos)集群上安装了Kafka。启用三个代理并创建一个名为“topic1”的主题。dcoskafkatopiccreatetopic1--partitions3--replication3然后我编写了一个Producer类来发送消息和一个Consumer类来接收它们。publicclassProducer{publicstaticvoidsendMessage(Stringmsg)throwsInterruptedException,ExecutionException{MapproducerConfig=newHashMap();System.out.p

java - Apache Kafka 根据消息的值对窗口消息进行排序

我正在尝试找到一种方法来重新排序主题分区内的消息并将排序后的消息发送到新主题。我有Kafka发布者发送以下格式的字符串消息:{system_timestamp}-{event_name}?{parameters}例如:1494002667893-client.message?chatName=1c&messageBody=hello1494002656558-chat.started?chatName=1c&chatPatricipants=3此外,我们为每条消息添加一些消息key,以将它们发送到相应的分区。我想做的是根据消息的{system-timestamp}部分并在1分钟的窗口内

java - spring boot kafka LocalDateTime

我有一个包含java.time.LocalDateTime的基本POJO:packagefoo.bar.asire.api.model;importjava.time.LocalDateTime;publicclassAddress{privateLongid;privateIntegerhouseNumber;privateStringaddress;privateLocalDateTimecreated;publicAddress(){super();}publicAddress(Longid,IntegerhouseNumber,Stringaddress,LocalDateTi

java - Kafka 0.11 中 sendOffsetsToTransaction 的含义

新的Kafka版本(0.11)支持exactly-once语义。https://cwiki.apache.org/confluence/display/KAFKA/KIP-98+-+Exactly+Once+Delivery+and+Transactional+Messaging我在Java中使用kafka事务代码设置了一个生产者,就像这样。producer.initTransactions();try{producer.beginTransaction();for(ProducerRecordrecord:payload){producer.send(record);}Mapgrou