草庐IT

Producer-Consumer

全部标签

java - 当队列持久时,HornetQ Producer 变慢

我已经尝试在horntQ中使用PersistentQueue。我做了两个单独的例子(生产者,消费者)。我的消费者运行良好,但生产者花费太多时间来完成发送消息。我分别跑过和一起跑过。可能是什么问题呢?我的代码是:publicclassHornetProducerimplementsRunnable{Contextic=null;ConnectionFactorycf=null;Connectionconnection=null;Queuequeue=null;Sessionsession=null;MessageProducerpublisher=null;TextMessagemess

java - 无法使用kafka Producer API与kafka服务器通信

我已经在单个节点上设置了kafka,并启动了zookeeper和kafka服务器。我在控制台上针对内部生产者和消费者对其进行了测试,并且运行良好。但是当我在控制台上运行内部kafka消费者时,我的自定义生产者它不起作用。下面是我的Producer类Propertiesprops=newProperties();props.put("metadata.broker.list","xx.xx.xx.xx:9092");props.put("serializer.class","kafka.serializer.StringEncoder");props.put("partitioner.c

java - Apache Camel : Aws-S3 consumer starts failing with connection pool timeout

我使用AWS-S3消费者定期轮询S3上特定位置的文件。在轮询一定次数后,它开始失败并出现给定的异常,Willtryagainatnextpoll.Causedby:[com.amazonaws.AmazonClientException-UnabletoexecuteHTTPrequest:Timeoutwaitingforconnectionfrompool]com.amazonaws.AmazonClientException:UnabletoexecuteHTTPrequest:Timeoutwaitingforconnectionfrompoolatcom.amazonaws.

java - Camel cxf :cxfEndpoint Producer error : Can't find the BindingOperationInfo with operation name

我正在使用camelcxf:cxfEndpoint调用soap服务,但收到此BindingOperationInfo错误。配置对我来说看起来是正确的,但不确定我哪里做错了。端点配置:我的JavaDSL路由器配置。from("direct:invokeMyUpdate").bean("myAcctSvcClient","buildSoapReq").setHeader(CxfConstants.OPERATION_NAME,constant("getAccountInfo")).to("cxf:bean:accountEndpoint")WSDL元素:错误如下:Stacktrace:ja

java - 生产者消费者线程间通信

在线程间通信方面遇到问题,并通过到处使用“虚拟消息”来“解决”它。这是一个坏主意吗?有哪些可能的解决方案?我遇到的示例问题。主线程启动一个线程来处理并将记录插入数据库。主线程读取一个可能很大的文件并将一个记录(对象)一个接一个地放入阻塞队列中。处理线程从队列中读取并工作。如何告诉“处理线程”停止?队列可以是空的,但工作没有完成,主线程现在也没有,当处理线程完成工作并且不能中断它时。所以处理线程做while(queue.size()>0||!Thread.currentThread().isInterrupted()){MyObjectobject=queue.poll(100,Time

Java LinkedBlockingQueue 能够在完成时发出信号吗?

我的情况是单个生产者和单个消费者处理对象队列。队列可能为空有两种情况:消费者处理对象的速度比生产者生成新对象的速度快(生产者在生成对象之前使用I/O)。生产者已完成对象的生成。如果队列为空,我希望消费者等到新对象可用或生产者发出完成信号。到目前为止,我的研究让我一无所获,因为我仍然以一个同时检查队列和一个单独的boolean标志(isDone)的循环结束。鉴于没有办法等待多个锁(想到等待队列和标志),可以做些什么来解决这个问题? 最佳答案 首先,使用包装器“开销太大”的建议是一种猜测,IMO是一个非常糟糕的建议。这个假设应该通过具有

java - 卡夫卡 : No message seen on console consumer after message sent by Java Producer

我是Kafka的新手。我在我的本地机器上创建了一个java生产者,并在网络上的另一台机器上设置了一个Kafka代理,比如M2(我可以ping、SSH、连接到这台机器)。在Eclipse控制台的生产者端,我收到“消息已发送”。但是当我检查机器M2上的控制台消费者时,我看不到这些消息。我的java生产者代码是:importorg.apache.kafka.clients.producer.KafkaProducer;importorg.apache.kafka.clients.producer.ProducerConfig;importorg.apache.kafka.clients.pr

Java:高性能消息传递(单一生产者/单一消费者)

我最初问过这个问题here,但我意识到我的问题不是关于while-true循环。我想知道的是,在Java中进行高性能异步消息传递的正确方法是什么?我正在尝试做什么......我有大约10,000个消费者,每个消费者都从他们的私有(private)队列中消费消息。我有一个线程一条一条地生成消息并将它们放入正确的消费者队列中。每个消费者无限循环,检查消息是否出现在其队列中并处理它。我相信这个术语是“单一生产者/单一消费者”,因为只有一个生产者,每个消费者只在他们的私有(private)队列上工作(多个消费者永远不会从同一个队列中读取数据)。Consumer.java内部:@Override

java - LMAX Disruptor - 什么决定了批量大小?

我最近一直在学习LMAXDisruptor并进行了一些实验。令我困惑的一件事是EventHandler的onEvent处理程序方法的endOfBatch参数。考虑我的以下代码。首先,我调用Test1和Test1Worker的虚拟消息和消费者类:publicclassTest1{}publicclassTest1WorkerimplementsEventHandler{publicvoidonEvent(Test1event,longsequence,booleanendOfBatch){try{Thread.sleep(500);}catch(Exceptione){e.printSt

生产者消费者的Java实现抛出java.lang.IllegalMonitorStateException

importjava.util.LinkedList;importjava.util.Queue;classProducerextendsPubSubimplementsRunnable{@Overridepublicvoidrun(){synchronized(queue){if(queue.size()==99){try{wait();}catch(InterruptedExceptione){e.printStackTrace();}}queue.add(2);try{Thread.sleep(1000);}catch(InterruptedExceptione){e.print