草庐IT

spark-framework

全部标签

java - Play Framework 双 url 编码

给定以下Controller方法,其中用户名=bob和电子邮件地址=bob@bob.compublicstaticvoidresetPassword(Stringusername,StringemailAddress){Stringurl=BASE_URL+"/users/"+username+"/reset_password";HttpResponseresponse=WS.url(url).setParameter("email_address",emailAddress).get();}有时,当我调用电话时,urlendpoing会收到:localhost:8080/api/v1

Play Framework 中 Scala 项目中的 Java Controller ?

当使用scala选项创建项目时,是否可以在play框架项目中同时拥有java和scalaController和View? 最佳答案 是的,可以在Play应用程序中混合使用Java和Scala。您可以混合使用Java和ScalaController以及Groovy和Scala模板。下面的说明已经过Play测试!1.2.2RC1.我会首先将您的Java和ScalaController都保存在app/controllers中。Java当然限于每个文件一个类,但在Scala中,包不绑定(bind)到文件和目录,所以你可以给你的Scala文件

java - 我怎样才能用 Play Framework 写一个加载页面

我想实现一个在系统命令运行时向用户显示的页面。一旦命令完成,用户应该被路由到另一个页面。有哪些实现策略?(没有javascript的解决方案是理想的) 最佳答案 绝对可以做到。你想看AsynchronousprogrammingwithHTTP在文档中,它解释了如何以非阻塞方式执行此操作。不过,您将需要一些javascript用于重定向部分。而且我不知道您所说的“系统命令”是什么意思,但您可能想要createajob为此,您可以通过请求触发它。然后你可以pollit直到它完成,然后重定向用户。但实际上文档在解释方面比我现在所做的要好

java - HashMap 作为 Spark Streaming 中的广播变量?

我有一些数据需要在sparkstreaming中分类。分类键值在程序开始时加载到HashMap中。因此,每个传入的数据包都需要与这些key进行比较并进行相应标记。我意识到spark有称为广播变量和累加器的变量来分发对象。教程中的示例使用简单的变量,例如etc。如何使用HashMap在所有sparkworker上共享我的HashMap。或者,是否有更好的方法来执行此操作?我正在用Java编写我的SparkStreaming应用程序。 最佳答案 在spark中,您可以用相同的方式广播任何可序列化的对象。这是最好的方法,因为您只需将数据发

java - "spark.memory.fraction"好像没有作用

在Spark中,当我从一个函数中从HDFS读取一个大约1GB的字符串时,我遇到了java.lang.OutOfMemoryError:Javaheapspace错误。我使用的执行程序内存是6GB。为了增加用户内存,我什至将spark.memory.fraction减少到0.3,但我仍然遇到同样的错误。似乎降低该值没有效果。我正在使用Spark1.6.1并使用Spark1.6核心库进行编译。我在这里做错了什么吗? 最佳答案 请参阅SparkConfSparkExecutorOOM:如何在Spark上设置内存参数一旦应用程序运行,您将看

java - 比较 Spark 中的两个数据帧(性能)

我需要比较我的spark应用程序中的两个数据帧。我浏览了以下帖子。HowtoobtainthedifferencebetweentwoDataFrames?但是,我不明白为什么最佳答案中的方法df1.unionAll(df2).except(df1.intersect(df2))比问题中的那个好df1.except(df2).union(df2.except(df1))谁能解释一下?据我了解,后者适用于两个较小的数据集,而前者适用于大型数据集。是因为后者将不同作为联合的一部分吗?即使那样,如果两个数据框有相同记录的可能性更大,那么在后一种情况下我们处理的是一个小数据集。

java - Play Framework : Arrow ("->") in routing

Play+Java+CRUDActivator有以下route文件,我不明白->在里面做了什么。#Routes#Thisfiledefinesallapplicationroutes(Higherpriorityroutesfirst)#~~~~#Homepage#HomepageGET/controllers.Application.index()#CRUDControllersandRESTAPI->/play.crud.Routes 最佳答案 在我看来,Playdocumentation因为这是可怜的。我会根据一个很好的解释s

java - Apache Spark - 内存异常错误 - IntelliJ 设置

当我尝试运行使用ApacheSpark的测试时,我遇到了以下异常:Exceptionencounteredwheninvokingrunonanestedsuite-Systemmemory259522560mustbeatleast4.718592E8.Pleaseusealargerheapsize.java.lang.IllegalArgumentException:Systemmemory259522560mustbeatleast4.718592E8.Pleaseusealargerheapsize.我可以通过更改配置中的vm选项来绕过错误,使其具有:-Xms128m-Xmx

java - spark - 如何减少 JavaPairRDD<Integer, Integer[]> 的洗牌大小?

我有一个JavaPairRDD我想在其上执行groupByKey行动。groupByKey行动给我一个:org.apache.spark.shuffle.MetadataFetchFailedException:Missinganoutputlocationforshuffle如果我没记错的话,这实际上是一个OutOfMemory错误。这只发生在大数据集中(在我的例子中,WebUI中显示的“ShuffleWrite”约为96GB)。我已经设置:spark.serializerorg.apache.spark.serializer.KryoSerializer在$SPARK_HOME/c

java - Spring Framework可以用于批处理应用吗?

我的公司正在为我们的Java框架切换到Spring,据我所知,它会很好地工作,但我们也有许多Java批处理应用程序*。Spring对运行批处理应用程序有足够的支持吗?spring的哪些特性会在这种环境下有用,而根本不起作用?*运行后端进程的Java命令行程序。 最佳答案 有一个Springproject为此。 关于java-SpringFramework可以用于批处理应用吗?,我们在StackOverflow上找到一个类似的问题: https://stacko