草庐IT

faster-stateful-stream-processing

全部标签

java - 在 Java 中使用 Optional 和 Streams

我试图重构旧代码以使用流,我的第一个方法是:publicvoidrun()throwsIOException{Files.list(this.source).filter(Images::isImage).map(Image::new).filter(image->image.isProportional(this.height,this.width)).map(image->image.resize(this.height,this.width)).forEach(image->Images.write(image,this.destination));}这不是编译,因为newIma

java - 通过 Streams 并行执行多个查询

我有以下方法:publicStringgetResult(){ListserversList=getServerListFromDB();ListappList=getAppListFromDB();ListuserList=getUserFromDB();returngetResult(serversList,appList,userList);}在这里,我依次调用三个方法,依次访问数据库并获取结果,然后对从数据库访问中获得的结果进行后处理。我知道如何通过使用Threads同时调用这三种方法。但我想使用Java8ParallelStream来实现这一点。有人可以指导我如何通过并行流实

Java 8 流 IllegalStateException : Stream has already been operated on or closed

我正在尝试使用StreamAPI生成Order实例。我有一个创建订单的工厂函数,一个DoubleStream用于初始化订单金额。privateDoubleStreamdoubleStream=newRandom().doubles(50.0,200.0);privateOrdercreateOrder(){returnnewOrder(doubleStream.findFirst().getAsDouble());}@Testpublicvoidtest(){StreamorderStream=Stream.generate(()->{returncreateOrder();});or

java - 使用 Collection.stream 按特定属性动态分组

我正在尝试使用Java8Collection-Stream按多个属性对对象列表进行分组。这很好用:publicclassMyClass{publicStringtitle;publicStringtype;publicStringmodule;publicMyClass(Stringtitle,Stringtype,Stringmodule){this.type=type;this.title=title;this.module=module;}}Listdata=newArrayList();data.add(newMyClass("1","A","B"));data.add(new

java - Arrays.stream(array) 与 Arrays.asList(array).stream()

在this问题已经回答了两个表达式是相等的,但在这种情况下它们会产生不同的结果。对于给定的int[]分数,为什么会这样:Arrays.stream(scores).forEach(System.out::println);...但这不是:Arrays.asList(scores).stream().forEach(System.out::println);据我所知,.stream()可以在任何集合上调用,列表肯定是。第二个代码片段只返回一个包含整个数组而不是元素的流。 最佳答案 您看到的行为并非特定于Stream秒。Arrays.a

Flink State 状态管理

文章目录前言一、状态分类二、keyed代码示例ListStateMapState总结前言状态在Flink中叫做State,用来保存中间计算结果或者缓存数据。要做到比较好的状态管理,需要考虑以下几点内容:状态数据的存储和访问在Task内部,如何高效地保存状态数据和使用状态数据。状态数据的备份和恢复作业失败是无法避免的,那么就要考虑如何高效地将状态数据保存下来,避免状态备份降低集群的吞吐量,并且在Failover时恢复作业到失败前的状态。状态数据的划分和动态扩容作业在集群内并行执行那么就要思考对于作业的Task而言如何使用统一的方式对状态数据进行切分,在作业修改并行度导致Task数据改变的时候,如

java - : "Refreshing Process Information". java.lang.NullPointerException 期间发生内部错误

每当我在EclipseLuna中的WebContent下创建一个文件夹时,即使文件夹已创建,它也会弹出。消息是:ProblemOccured'RefreshingProcessInformation'hasencounteredaproblem.Aninternalerroroccurredduring:"RefreshingProcessInformation".Aninternalerroroccurredduring:"RefreshingProcessInformation".java.lang.NullPointerException为什么java.lang.NullPoin

Java I/O : Ensure a file is not locked by another process before any r/w operation

我在基于Java7WatchServiceAPI跟踪目录中文件内容的应用程序中遇到了一个反复出现的问题。当底层文件系统触发文件修改事件时,我想立即计算其SHA-256。但经常会发生另一个进程打开文件(即Word),从而保留独占锁并阻止我的应用程序进行任何读/写操作。如果针对打开的文件创建了任何流/channel,则会抛出FileNotFoundException或nioAPI的FileSystemException以及如下消息:Theprocesscannotaccessthefilebecauseitisbeingusedbyanotherprocess当文件在fs上实际上不存在时,

java - 卡夫卡 : Cant Create Multiple Stream Consumers

我刚刚启动并运行了Kafka0.8beta1。我有一个非常简单的示例启动并运行,问题是,我只能让一个消息消费者工作,而不是几个。也就是说,runSingleWorker()方法有效。run()方法不起作用:importkafka.consumer.ConsumerIterator;importkafka.consumer.KafkaStream;importkafka.consumer.ConsumerConfig;importkafka.javaapi.consumer.ConsumerConnector;importjava.util.Map;importjava.util.Lis

【Flink入门修炼】2-2 Flink State 状态

什么是状态?状态有什么作用?如果你来设计,对于一个流式服务,如何根据不断输入的数据计算呢?又如何做故障恢复呢?一、为什么要管理状态流计算不像批计算,数据是持续流入的,而不是一个确定的数据集。在进行计算的时候,不可能把之前已经输入的数据全都保存下来,然后再和新数据合并计算。效率低下不说,内存也扛不住。另外,如果程序出现故障重启,没有之前计算过的状态保存,那么也就无法再继续计算了。因此,就需要一个东西来记录各个算子之前已经计算过值的结果,当有新数据来的时候,直接在这个结果上计算更新。这个就是状态。常见的流处理状态功能如下:数据流中的数据有重复,我们想对重复数据去重,需要记录哪些数据已经流入过应用,