草庐IT

stream_bufs

全部标签

java - 如何方便地对 CompleteableFuture<BigDecimal> 的 Stream 求和?

我正在寻找一种非阻塞方式来对CompleteableFuture的Stream求和.我已经找到与此问题密切相关的主题,例如this.但不幸的是,就我而言,我确实有BigDecimal打包到CompleteableFuture中,因此我需要先等待完成。最后,我想获得另一个CompleteableFuture,它包含Stream中所有Futures的总和,一旦它完成。编辑:实际上我确实设法找到了以下解决方案:Stream>lotOfWork;CompletableFuture.supplyAsync(()->lotOfWork.map(CompletableFuture::join).re

java - 使用 Java 8 Stream 读取文本文件 block

Java8有一种方法可以从文件的行创建流。在这种情况下,foreach将逐行执行。我有一个具有以下格式的文本文件..bunchoflineswithtext$$$$bunchoflineswithtext$$$$我需要将$$$$之前的每组行放入Stream中的单个元素中。换句话说,我需要一个字符串流。每个字符串都包含$$$$之前的内容。执行此操作的最佳方法(开销最小)是什么? 最佳答案 我想不出一个延迟处理线条的解决方案。我不确定这是否可行。我的解决方案生成一个ArrayList。如果您必须使用Stream,只需对其调用stream

java - 我可以按元素的类过滤 Stream<T> 并一步获得 Stream<U> 吗?

这个问题在这里已经有了答案:IsthereaJavaStreammethodequivalenttoScala'scollections"collect"?(5个答案)关闭7年前。假设我有classDogextendsAnimal{}classCatextendsAnimal{}我有一份动物list使用GuavaFluentIterable我可以一步过滤和转换Listcats=FluentIterable.from(animals).filter(Cat.class).toList();使用Java8我需要做Listcats=animals.stream().filter(c->cin

java - 为什么 Kafka Direct Stream 会为每条消息创建一个新的解码器?

我有一个用Java编写并使用Spark2.1的Spark流应用程序。我正在使用KafkaUtils.createDirectStream来读取来自Kafka的消息。我正在为kafka消息使用kryo编码器/解码器。我在Kafkaproperties->key.deserializer,value.deserializer,key.serializer,value.deserializer中指定了这个当Spark在微批中拉取消息时,使用kryo解码器成功解码消息。但是我注意到Spark执行程序创建了一个新的kryo解码器实例,用于解码从kafka读取的每条消息。我通过将日志放入解码器构造

java - 使用 Spring Boot 1.5 避免 Kafka Streams 在测试中启动

在我的SpringBoot应用程序的测试过程中,我遇到了一个非常烦人的问题。我有一个使用KafkaStreams并在专用配置文件中声明它们的应用程序。@EnableKafka@EnableKafkaStreams@ConfigurationpublicclassKafkaStreamConfiguration{@Bean(name=KafkaStreamsDefaultConfiguration.DEFAULT_STREAMS_CONFIG_BEAN_NAME)publicStreamsConfigkStreamsConfigs(){//Omissis}@BeanpublicKStre

java - Apache Kafka 1.0.0 Streams API Multiple Multilevel groupby

我如何在KafkaStreamsAPI中使用具有多个约束的.groupby。与下面的Java8StreamsAPI示例相同publicvoidtwoLevelGrouping(Listpersons){finalMap>>personsByCountryAndCity=persons.stream().collect(groupingBy(Person::getCountry,groupingBy(Person::getCity)));System.out.println("PersonslivinginLondon:"+personsByCountryAndCity.get("UK"

java - NoClassDefFoundError : javax/xml/stream/XMLStreamException

尝试使用ApachePOI编写.xlsx文件时出现以下异常NoClassDefFoundError:javax/xml/stream/XMLStreamException这是代码片段:-XSSFWorkbookwb=newXSSFWorkbook();Sheetsheet=wb.createSheet();Rowrow=sheet.createRow(0);Cellcell=row.createCell(0);cell.setCellValue(100);FileOutputStreamfileOut=newFileOutputStream("D:\\workspace\\April\

java - 一个 Stream 是否可以顺序处理一部分流水线,然后并行处理?

我有以下代码无法按预期工作(跳过随机行,而不是第一行):Files.lines(path).skip(1).parallel().forEach(System.out::println)我感觉我误解了Streams的行为。问题是:我能否先将流视为顺序流(并使用“有状态的中间操作”),然后将其送入并行forEach? 最佳答案 整个管道要么是并行的,要么是顺序的。尝试使用forEachOrdered而不是forEach。在我的测试中,如果使用forEachOrdered它会跳过第一行(对于forEach它会跳过最后一行)。forEac

java - HashMap 作为 Spark Streaming 中的广播变量?

我有一些数据需要在sparkstreaming中分类。分类键值在程序开始时加载到HashMap中。因此,每个传入的数据包都需要与这些key进行比较并进行相应标记。我意识到spark有称为广播变量和累加器的变量来分发对象。教程中的示例使用简单的变量,例如etc。如何使用HashMap在所有sparkworker上共享我的HashMap。或者,是否有更好的方法来执行此操作?我正在用Java编写我的SparkStreaming应用程序。 最佳答案 在spark中,您可以用相同的方式广播任何可序列化的对象。这是最好的方法,因为您只需将数据发

java - 如何限制 Stream 顺序运行,并防止它并行运行?

我有一个方法可以返回从自定义拆分器生成的流;分离器不安全。由于spliterator不安全,并且它保持状态,我想防止它并行运行。有没有办法防止返回的流并行运行?我没能找到执行此操作的任何文档或示例。我确实在BaseStream类上找到了一个sequential()方法,但这似乎并没有阻止用户调用parallel()来得到一个并行流。 最佳答案 并行流调用拆分器的trySplit()方法将您的任务拆分为多个部分。这是absolutelylegit从trySplit()返回null表示“我拒绝拆分”。在这种情况下,即使显式调用了.par