草庐IT

storm-starter

全部标签

java - Apache Storm Bolt 任务在一段时间后未收到消息

我们有一个Storm拓扑,其中配置了一个spout和两个bolts。Spout不断地从数据库中查询数据并将元组发送到第一个bolt进行一些处理。第一个bolt进行一些处理并将元组发送到第二个bolt,第二个bolt调用第三方网络服务并发送数据。所以,一段时间后发生了什么,最后一个bolt没有得到任何元组,如果我们重新启动拓扑它工作正常。这里只有最后一个bolt有问题。其他spout和firstbolt运行良好,我没有使用acking框架。在这种情况下,我只配置了一个worker`。TopologyBuilderbuilder=newTopologyBuilder();builder.s

java.lang.UnsupportedClassVersionError : io/vertx/core/Starter Error 错误

从${VERTX_HOME}/bin运行./vertxversion命令时我得到:Exceptioninthread"main"java.lang.UnsupportedClassVersionError:io/vertx/core/Starter:Unsupportedmajor.minorversion52.0atjava.lang.ClassLoader.defineClass1(NativeMethod)atjava.lang.ClassLoader.defineClass(ClassLoader.java:800)atjava.security.SecureClassLoad

java - Storm : Spout for reading data from a port

我需要编写一个Storm喷口来从端口读取数据。想知道这在逻辑上是否可行。考虑到这一点,我设计了一个简单的拓扑结构,它具有一个spout和一个bolt。spout将收集使用wget发送的HTTP请求,而bolt将显示请求-仅此而已。我的spout结构如下:publicclassProxySpoutextendsBaseRichSpout{//TheO/PcollectorSpoutOutputCollectorsc;//ThesocketSocketclientSocket;//TheserversocketServerSocketsc;publicProxySpout(intport)

java - Storm 和 Spring 4 集成

我有一个原型(prototype)Storm应用程序,它读取STOMP流并将输出存储在HBase上。它可以工作,但不是很灵活,我试图以与我们其他应用程序更一致的方式设置它,但没有太多运气来弄清楚当前如何使用Storm。我们使用spring-jms类,但不是以标准的spring方式使用它们,而是在运行时创建它们,并手动设置依赖项。本项目:https://github.com/granthenke/storm-spring看起来很有前途,但它已经有几年没有被触及了,而且由于Stormjar已被放入apache孵化器并重新包装,因此无法正常构建。有没有我遗漏的东西,或者我不值得花时间来整合这

java - 无法从 Storm 教程运行 storm-starter 拓扑

当遵循Storm启动器中的指南时repo,我实际上无法运行任何拓扑-例如ExclamationTopology。mvncleaninstall-DskipTests=true成功运行,从顶级Storm存储库执行,mvnpackage在storm-examples水平。当我尝试运行stormjartarget/storm-starter-2.0.0-SNAPSHOT.jarorg.apache.storm.starter.ExclamationTopology时,出现错误:Error:AJNIerrorhasoccurred,pleasecheckyourinstallationandt

java - 如何在 Intellij IDEA 中构建和运行 Storm Topology

我按照StormStarter的说明在IntelliJ中导入了TwitterStorm。为了进行测试,我编辑了一些ExclaimationToplogy并使用以下Maven命令来构建和运行它:mvn-fm2-pom.xmlcompileexec:java-Dstorm.topology=storm.starter.ExclamationTopology但我更感兴趣的是在IDE中构建和运行而不是命令行。我需要执行哪些操作?谢谢 最佳答案 按照storm-starter中的步骤进行操作:Usingstorm-starterwithInt

java - Apache Storm spout 可以相互通信吗?

我有一个目录,另一个进程将文件放入其中。我们当前的Storm实现读取此目录并选择最旧的文件并打开文件读取器。该读取器作为spout中的一个字段保存,因此当调用nextTuple()时,将从文件中输出一行。spout完成读取后,它会关闭读取器并打开一个新读取器来读取新文件。为了提高吞吐量,一个想法是让多个spouts一次读取多个文件,因为这些spouts将争夺同一目录中的相同文件,有没有办法在spouts之间进行通信,以便它们可以协商哪些文件阅读?(或者有一个总经理将文件分配给喷口)。目录和文件从HDFS存储和读取。 最佳答案 我认为

java - spring-boot-starter-parent 在 pom 文件中到底做了什么?

我正在开发一个项目,它不是Springboot,而是springmvc。我的意思是我的项目中没有这个类:@SpringBootApplicationpublicclassApplicationextendsSpringBootServletInitializer{publicstaticvoidmain(String[]args){SpringApplication.run(Application.class,args);}我在springmvc的配置文件中有这三个类:@Import(WebSocketConfig.class)@Configuration@EnableWebMvc@C

java - 在本地模式下运行 storm-starter 拓扑时出现 ClassNotFound 错误(Win10、OS X)

我正在尝试通过以下方式在Windows下调试StormTopology(在Stormv1.0.0上):TopologyBuilderbuilder=newTopologyBuilder();builder.setSpout("spout",newRandomIntegerSpout());builder.setBolt("partialsum",newStatefulSumBolt("partial"),1).shuffleGrouping("spout");builder.setBolt("printer",newPrinterBolt(),2).shuffleGrouping("p

java - 如何使用 Log4j 和 Storm Framework 将日志写入文件?

我在使用storm中的log4j记录到文件时遇到了一些问题。在提交我的拓扑之前,即在我的主要方法中,我编写了一些日志语句并使用以下方法配置了记录器:PropertyConfigurator.configure(myLog4jProperties)现在,当我在eclipse中使用我的可执行jar运行我的拓扑时-它工作正常,正在按预期创建日志文件。或者当我使用“java-jarMyJarFilesomeOtherOptions”,我可以看到正在配置log4j并且文件是格式正确,日志记录在文件和控制台上完成(如在我的log4j.properties中定义)但是当我使用“stormjarMyJ