草庐IT

spark-framework

全部标签

java - 如何使用 Java 在 Play Framework 2.0 中测试文件上传的多部分表单数据请求?

我知道您可以按照此处的建议使用ScalaAPI执行此操作:https://groups.google.com/forum/?fromgroups=#!topic/play-framework/1vNGW-lPi9I但是似乎没有办法使用Java来做到这一点,因为FakeRequests的withFormUrlEncodedBody方法只支持字符串值?这是API中缺少的功能还是有任何解决方法?(仅使用Java)。 最佳答案 对于集成测试,您可以像我一样使用apacheDefaultHttpCLient:@Testpublicvoidad

java - Apache Spark Lambda 表达式 - 序列化问题

我尝试在spark任务中使用lambda表达式,它抛出“java.lang.IllegalArgumentException:无效的lambda反序列化”异常。当代码类似于"transform(pRDD->pRDD.map(t->t._2))"时会抛出此异常。代码片段如下。JavaPairDStreamaggregate=pairRDD.reduceByKey((x,y)->x+y);JavaDStreamcon=aggregate.transform((Function,JavaRDD>)pRDD->pRDD.map((Function,Integer>)t->t._2));Java

java - 使用 Play Framework 和第三方 API 流式传输大文件

我正在编写一个play2应用程序,但我正在努力解决文件流问题。我使用具有以下签名的方法使用第三方API检索我的文件:FileMetadatagetFile(OutputStreamdestination,StringfileId)在传统的Servlet应用程序中,如果我想将内容发送到我的客户端,我会这样做:HttpServletResponseresp;myService.getFile(resp.getOutpuStream,fileId);我的问题是,在我的play2Controller类中,我无法访问底层的OuputStream,因此我的Controller方法的最简单实现是:p

java - Spark Streaming 历史状态

我正在构建用于检测欺诈ATM卡交易的实时处理。为了有效地检测欺诈,逻辑需要卡的最后交易日期,每天(或最近24小时)的交易金额总和其中一个用例是,如果在该国家/地区的最后一次交易超过30天后在本国境外进行的卡交易,则发送可能存在欺诈的警报因此尝试将Spark流式处理视为一种解决方案。为了实现这一点(可能我缺少关于函数式编程的想法)下面是我的伪代码stream=ssc.receiverStream()//inputreceivers1=stream.mapToPair()//createskeywithcardandtransactiondateasvalues2=stream.reduc

java - 在 Spark 中使用 Function 实现的序列化问题

我无法理解Java中的Spark函数实现。Thedocumentation给出了三种在map和reduce中使用函数的方法:通过lambda通过实现Function和Function2的内联类通过实现Function和Function2的内部类问题是我无法使2.和3.工作。例如,这段代码:publicintcountInline(Stringpath){Stringmaster="local";SparkConfconf=newSparkConf().setAppName("charCounterInLine").setMaster(master);JavaSparkContextsc

java - Play Framework 2.3.7 : Static assets location not working in production

我看到了一些关于此的问题,但似乎无法深入了解。我有一个PlayFramework2.3.7(Activator1.2.12)站点,当我在开发模式下运行它时一切正常。当我在生产模式下启动它时,出现以下错误:[app]$start[info]WroteC:\Users\App\git\website2.0\target\scala-2.10\app_2.10-1.0-SNAPSHOT.pom[info]MainScalaAPIdocumentationtoC:\Users\App\git\website2.0\target\scala-2.10\api...[info]Compiling5

java - 在测试中迭代所有 Play Framework 路由

有什么方法可以在routes文件中迭代所有描述的服务?需要URL和HTTP方法。我需要这个功能来运行一些集成测试。我正在使用PlayforJava。 最佳答案 不容易。不久前我设法破解了它(没有scala诀窍)。我会发布该代码,也许它会有用。publicstaticListparseRoutes(){scala.Optionoption=Play.application().getWrappedApplication().routes();if(option.isDefined()){play.core.Router.Routesr

java - Spark 连接器错误 : WARN NettyUtil: Found Netty's native epoll transport, 但未在基于 linux 的操作系统上运行。改用 NIO

这是我的规范:Cassandra版本:3.0.0操作系统:MacOSXYosemite10.10.5Spark版本:1.4.1上下文:我在Cassandra中创建了一个键空间“movies”和一个表“movieinfo”。我已经按照post的指导安装并组装了一个jar文件。我编写了一个小脚本(如下)来测试我的连接:scala>sc.stopscala>importcom.datastax.spark.connector._importcom.datastax.spark.connector._scala>importorg.apache.spark.SparkConfimportorg

java - Spring Framework MVC 中的 "Webpage has expired"

我有一个基于SpringWeb模型-View-Controller(MVC)框架的项目。SpringWeb模型-View-Controller(MVC)框架的版本是3.2.8,部署在WebLogicServer版本:12.1.2.0.0我在1个JSP中有这个表单我使用POST方法执行了一些操作。之后我使用浏览器(IE11)后退按钮,但出现此错误WebpagehasexpiredMostlikelycause:•Thelocalcopyofthiswebpageisoutofdate,andthewebsiterequiresthatyoudownloaditagain.Somethin

java - 在 Spark 中排序时出现 NotSerializableException

我正在尝试编写一个简单的流处理Spark作业,它将获取消息列表(JSON格式),每条消息属于一个用户,计算每个用户的消息并打印前十名用户。但是,当我定义Comparator>来对减少的计数进行排序时,整个事情都失败了,并抛出了java.io.NotSerializableException。我对Spark的Maven依赖:org.apache.sparkspark-core_2.9.30.8.0-incubating我正在使用的Java代码:publicstaticvoidmain(String[]args){JavaSparkContextsc=newJavaSparkContext