草庐IT

data-stream

全部标签

java - spring-data mongo 中不区分大小写的精确匹配

我正在使用带有mongo的spring数据和一个存储库。例如:@Query("{'userName':?0}")publicUserfindByUsername(Stringusername);我想让这个不区分大小写。我使用了以下查询:"{'userName':{$regex:?0,$options:'i'}}"这行得通,但它不仅匹配testUser,还匹配estUser。我也试过"{'userName':{$regex:^?0$,$options:'i'}}"但这无法解析查询,因为它试图在正则表达式中插入引号。com.mongodb.util.JSONParseException:(

java - Spark Streaming Kafka 消息未被消费

我想使用Spark(1.6.2)Streaming从Kafka(代理v0.10.2.1)中的主题接收消息。我正在使用Receiver方法。代码如下:publicstaticvoidmain(String[]args)throwsException{SparkConfsparkConf=newSparkConf().setAppName("SimpleStreamingApp");JavaStreamingContextjavaStreamingContext=newJavaStreamingContext(sparkConf,newDuration(5000));//MaptopicM

合并spark structured streaming处理流式数据产生的小文件

备注:By远方时光原创,可转载,open合作微信公众号:大数据左右手背景:做流批一体,湖仓一体的大数据架构,常见的做法就是数据源->sparkStreaming->ODS(数据湖)->sparkstreaming->DWD(数据湖)->...那么数据源->sparkStreaming->ODS,以这段为例,在数据源通过sparkstructuredstreaming写入ODS在数据湖(DeltaLake)落盘时候必然会产生很多小文件目的:为了在批处理spark-sql运行更快,也避免因为小文件而导致报错影响:WARNING:Failedtoconnectto/172.16.xx.xx:9866

java - 了解 Stream API ForEach Task 中的主循环

似乎JavaStreams并行化的核心是ForEachTask。理解其逻辑似乎对于获得必要的心智模型至关重要,该心智模型可以预测针对StreamsAPI编写的客户端代码的并发行为。然而,我发现我的预期与实际行为相矛盾。作为引用,这里是关键的compute()方法(java/util/streams/ForEachOps.java:253):publicvoidcompute(){SpliteratorrightSplit=spliterator,leftSplit;longsizeEstimate=rightSplit.estimateSize(),sizeThreshold;if((

java - 如何使用 Spring Data Repositories 作为 Vaadin JPAContainer

是否可以将org.springframework.data.jpa.repository.JpaRepository存储库用作Vaadin的JPAContainer?我们正在使用Spring3.2从头开始​​建立一个新的Vaadin7项目。Spring集成是通过SpringVaadinIntegrationAddon完成的. 最佳答案 就您可以从JPARepository或其他地方获取EntityProvider而言,您可以像这样使用JPAContainer:EntityManagerentityManager=getEntityM

java - Surefire Maven 插件 : "Corrupted STDOUT by directly writing to native stream in forked JVM"

我的JUnit测试在通过Maven和Surefire插件(下面的版本信息)运行时失败了。我看到错误消息:CorruptedSTDOUTbydirectlywritingtonativestreaminforkedJVM4.SeeFAQwebpageandthedumpfileC:\(...)\target\surefire-reports\2019-03-20T18-57-17_082-jvmRun4.dumpstreamFAQ页面指出了一些可能的原因,但我不知道如何使用这些信息来开始解决这个问题:CorruptedSTDOUTbydirectlywritingtonativestre

java - Spring Data REST加入继承问题

我在单个JPA实体上有一个SpringDataRepository。该实体通过联合继承进行子类化。SpringDataREST似乎在解释这个结构时有问题,至少是自动的。或者我误解了Inheritance.JOINED的用法对具有事件的任何实体的任何请求都会返回以下内容:{cause:null,message:"Cannotcreateselflinkforclasscom.foo.event.SubEvent!Nopersistententityfound!"}也许我对这个项目的要求太多了,不知道如何处理这个问题,但是有没有一种解决方法可以将我所有的Events分组在同一个/event

java - 使用 Streams 实现 Java 数据透视表

我这几天一直在为这个问题苦苦挣扎。我正在尝试使用JavaStreams创建Pivot功能。我只需要执行SUM、COUNT、MAX、MIN和AVERAGE。对于输入,我得到了一个数据透视列索引、一个数据透视行索引数组和要计算的值。要注意的是数据在List>中,其中Object可以是String、Integer或Double。但直到运行时我才知道。我必须以List>的形式返回我的结果。我在处理MAX/MIN时遇到问题(我假设AVERAGE与MAX和MIN相似)为了以多个表值为中心,我创建了一个类来使用我的第二个groupingBy这不会编译,我不确定要比较什么,在哪里将对象转换为int或者

Java Stream GroupingBy 在自定义对象中收集

我有温度等级classTemperature{doubleminTemp;doublemaxTemp;Stringcity;Stringcountry;}我有另一个维护温度集合的类classTemperatures{Listtemperatures;}我想使用流按countryName对温度进行分组。我想要的是publicMaptemperaturesByCountry()但是我无法使用流获取温度作为map值,我得到的是温度列表。我的groupingBy实现如下Map>result=this.getTemperatures().stream().collect(Collectors.g

java - Spring JPA : Should the Save() method commit data to the database?

我正在为我的项目使用Springdata,我正在使用extendsCRUDRepository的标准Repository。我的代码按预期工作,但是当我调用repository.save()时,数据库没有改变?我是否还需要在此之后调用commit以更改数据库?或者repository.save()方法应该自动更改数据库吗? 最佳答案 当你的应用程序运行时,与线程关联的实体管理器保持对修改或添加对象的控制,save()方法就是这样做的,它是一个标记,上面写着:“这应该保存在数据库中”。数据库DML(插入、更新、删除)不会在您保存内容时发