草庐IT

storm-starter

全部标签

java - Jedis "couldn' t get pool resource"on a Storm topology

我的拓扑正在运行,每个bolt都工作,除了redisbolt。我只是想将信息写入redis数据库,并且我在网上找到了一个示例。拓扑结构有效,但是,当DBbolts执行时,它会显示此错误:3594[Thread-18-print]INFOb.s.d.executor-ProcessingreceivedmessageFOR22TUPLE:source:meal:20,stream:default,id:{},[2009+1.2815365e-01:-):-)]source:meal:20,stream:default,id:{},[2009+1.2815365e-01:-):-)]135

redis - Storm 和Redis

我正在尝试通过实时分析解决问题。我想实时计算值。我接收流式数据并使用Kafka和Storm对其进行处理,最后将其写入Redis。现在我想再次将存储在Redis中的所有数据推/拉到Storm中,以便用它做进一步的计算。问题是,这必须每分钟重复一次。因此,每分钟都必须拉取/推送和计算来自Redis的所有值。我不知道这是否是解决我的问题的正确方法,但我需要一种缓存。你有什么建议吗?提前谢谢你。问候 最佳答案 你可以改用德鲁伊。它将值存储在kafka中并使用storm来插入值。它是基于列的存储,专为实时分析而设计。Redis很快,但是你不能

spring - 如何让spring-boot-starter-data-redis删除返回结果

大家好,我使用spring-boot-starter-data-redis库。而我正在使用RedisTemplate操作redis。我想得到删除key的结果。但是我发现函数返回void值。我阅读了它是如何工作的代码。我发现它没有返回任何内容。我怎样才能知道删除结果是否正确?请帮助我。谢谢!祝你有美好的一天。 最佳答案 看起来像delete(Collectionkeys)在RedisTemplate上返回Long这是删除的键数。哪个方法返回void? 关于spring-如何让spring-

java - 如何在spring-boot-starter-data-redis中获取Jedis实例?

这个例子正确吗?连接池是否自动关闭?需要获取jedis实例才能操作GEOimportorg.springframework.beans.factory.annotation.Autowired;importorg.springframework.data.redis.connection.RedisConnection;importorg.springframework.data.redis.connection.RedisConnectionFactory;importorg.springframework.stereotype.Service;importredis.clients

apache-spark - Spark 或 Storm (三叉戟)

我正在尝试扩展我们系统中的一个组件,并思考在Storm(Trident)和Spark之间应该采用哪种更好的方式。因此,我们有2个大集合,可以包含存储在redis集群中的多达百万个事件。说S1和S2。现在,我们从消息队列(Kafka)中读取一条消息,需要找到同时存在于S1和S2中的所有元素(基本上是找到**S1∩S2)。现在对于小集合,Redis本身可以有效地进行交集,但我们预计这些集合的大小可能以百万为单位。**为了解决上述问题,我们正在探索一些分布式计算框架(即Storm和Spark)。我对Storm的基本Spouts和Bolts有一点经验,我认为它不能在这里有效地工作,因为我们必须

java - 使用 Redis 运行 Storm 时出错 : java. lang.NoClassDefFoundError: Lredis/clients/jedis/Jedis

我的Storm类使用Redis队列来收集数据。我尝试运行我的Stormjarstormjarjar_file_name.jarTopology_nameconfiguration_file但是我遇到了以下异常:Exceptioninthread"main"java.lang.NoClassDefFoundError:Lredis/clients/jedis/Jedis;atjava.lang.Class.getDeclaredFields0(NativeMethod)atjava.lang.Class.privateGetDeclaredFields(Class.java:2397)a

java - storm 0.9.0.1 与 Netty 的 supervisor 通信

我已经设置了一个集群0.9.0.1版本。专用灵气、动物园管理员、两名主管。不得不说,只有一位主管,一切都很好。但是当我添加另一个时,一台机器上的任务无法与另一台机器上的任务通信,因此消息超时。我使用CentOS实例在AWS上运行所有内容。我已经为主管安全组打开了所有端口。停止了iptables。但仍然没有运气。当我做netstat-a我可以看到ESTABLISHED服务器之间的连接。我也可以成功ping彼此。不用说,zookeeper工作正常,我可以运行echoruok|nc2181我得到了结果。但是当我检查worker日志时,我看到了这些错误:2014-03-1313:53:28ST

java - JSON 解析错误 : Can not construct instance of io. starter.topic.Topic

我正在学习SpringBoot并制作了一个演示,但是当我发布一个添加对象的请求时,它不起作用!错误信息是:{"timestamp":1516897619316,"status":400,"error":"BadRequest","exception":"org.springframework.http.converter.HttpMessageNotReadableException","message":"JSONparseerror:Cannotconstructinstanceofio.starter.topic.Topic:nosuitableconstructorfound,

java - 以正确的方式停止 Apache Storm

是否有一种干净的方法来停止Storm而不用killXXX杀死它,其中XXX是PID?我运行stormkilltopology-name来终止拓扑,但在那之后,是否有一种干净的方法来关闭worker、nimbus、supervisor和ui?我没有从文档中找到与此对应的任何命令:https://github.com/nathanmarz/storm/wiki/Command-line-client 最佳答案 终止拓扑的命令(正如您正确提到的那样):stormkilltopology-name要关闭集群,您需要在每个节点上运行以下命令:

java - 如何使用IDE在storm生产集群中提交拓扑

我遇到了一个问题必须使用“storm”客户端脚本提交拓扑,以便StormSubmitter知道要上传哪个jar,同时使用IDE将拓扑提交到生产集群,而如果我使用stormjar命令在命令行中执行,它的运行就像天堂一样。我从githublink看到了相同的例子.为了提交拓扑,我正在使用这些行conf.put(Config.NIMBUS_HOST,NIMBUS_NODE);conf.put(Config.NIMBUS_THRIFT_PORT,6627);conf.put(Config.STORM_ZOOKEEPER_PORT,2181);conf.put(Config.STORM_ZOOK