草庐IT

Spark-scala

全部标签

xml - 如何更改 Scala XML 元素的属性

我有一个XML文件,我想用脚本映射in的一些属性。例如:可能将属性缩放为两倍:此页面有关于添加属性的建议,但没有详细说明将当前属性映射到函数的方法(这种方法会非常困难):http://www.scalaclass.com/book/export/html/1我想出的是手动创建XML(非scala)链表...类似于://atypicalmatchcaseforrunningthruXMLelements:caseElem(prefix,e,attributes,scope,children@_*)=>{varnewAttribs=attributesfor(attrnewAttribs=

xml - Scala XML 构建 : Adding children to existing Nodes

我有一个XML节点,我想随着时间的推移向其添加子节点:valroot:Node=但我看不到诸如addChild()之类的方法,因为我想按照以下方式编写一些内容:defaddToModel()={root.addChild(content)}因此,在单次调用此方法后,根xml将是:content我能看到的唯一能够附加节点的类是NodeBuffer。我是否遗漏了一些基本的东西? 最佳答案 我们从这里开始:defaddChild(n:Node,newChild:Node)=nmatch{caseElem(prefix,label,attr

xml - 在 Scala 中使用动态标签和属性构造 XML?

我希望能够做到这一点:valmyXml=(因为我不知道编译时的属性细节是什么)还有这个:valmyXml=这不是有效的Scala语法。我能想到的最接近的方法是使用Elem对象来构造元素,但这有点麻烦(在我不想插入的地方插入PCDATA)。有没有办法像上面那样做? 最佳答案 valmyXml=%Attribute(None,"name",Text("value"),Null)有关不同的构造函数,请参阅scala.xml.Attribute。为所有child添加相同的属性:scala>valxml=xml:scala.xml.Elem=

xml - scala 字符串到 scala.xml.Elem

我必须将一个字符串转换成XMLscala>valstring=""string:String=scala>valxml=()xml:scala.xml.Elem= 最佳答案 scala>scala.xml.XML.loadString(string)res0:scala.xml.Elem= 关于xml-scala字符串到scala.xml.Elem,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/qu

xml - Scala - 修改 xml 中的嵌套元素

我正在学习Scala,并且希望更新某些XML中的嵌套节点。我有一些工作,但我想知道它是否是最优雅的方式。我有一些xml:valInputXml:Node=11我想更新子节点中的版本节点,而不是内容中的节点。这是我的功能:defupdateVersion(node:Node):Node={defupdateElements(seq:Seq[Node]):Seq[Node]={varsubElements=for(subNode{ch@_*}=>{{updateElements(ch)}}case{ch@_*}=>{{updateElements(ch)}}case{contents}=>

xml - Scala:XML 空白删除?

有人知道一个很好的scala库可以从XML中删除/压缩空格吗?helloworldxxx到:helloworldxxx 最佳答案 scala.xml.Utility.trim()应该做你想做的事:scala>valx=|helloworld|xxx|x:scala.xml.Elem=helloworldxxxscala>scala.xml.Utility.trim(x)res0:scala.xml.Node=helloworldxxx 关于xml-Scala:XML空白删除?,我们在St

java - 导出 Java Scala 项目时,未能获取 scala/ScalaObject

我正在使用安装了Scala2.9.3插件的eclipse。我有一个Scala项目,它在eclipse中运行良好,但是当我将项目导出到“可运行的JAR文件”并尝试运行它时,出现以下异常:java.lang.NoClassDefFoundError:scala/ScalaObject我尝试了所有3个库处理选项:提取所需的库...打包所需的库...复制所需的库...所有都以相同的异常结束。我需要做什么才能从我的项目中创建一个独立的JAR文件? 最佳答案 我用过sbt-assembly插件过去,我发现它很容易使用。

windows - Spark EC2 对 Windows 的支持

所有关于在AmazonEC2上部署Spark集群的文档都是与Linux环境相关的。但是,目前我的分布式项目依赖于一些Windows功能,我想开始使用Windows集群,同时进行必要的更改。p>我想知道是否有任何方法可以让我们以相对类似于spark-ec2脚本的方式在EC2上部署WindowsSpark集群由Spark提供。 最佳答案 spark-ec2目前仅支持使用specificLinuxAMIs在EC2中启动集群,因此目前无法使用该工具部署WindowsSpark集群。我怀疑spark-ec2是否会具备这种能力,因为它使用的所有

windows - 将 spark.local.dir 设置为不同的驱动器

我正在尝试在Windows10上设置独立的Spark。我想设置spark.local.dir至D:\spark-tmp\tmp,因为目前它似乎正在使用C:\Users\\AppData\Local\Temp,在我的例子中是在SSD驱动器上,考虑到某些数据集的大小,它可能没有足够的空间。所以我更改了文件%SPARK_HOME%\conf\spark-defaults.conf到以下,没有成功spark.eventLog.enabledtruespark.eventLog.dirfile:/D:/spark-tmp/logspark.local.dirfile:/D:/spark-tmp/

R Spark 一次从文件夹中读取一个文件,与 Shiny 集成

我在HDFS上有一个文件夹,其中包含10个CSV文件。每个CSV文件包含10000行和17列。目标响应式读取HDFS上的文件夹。如果文件夹中包含文件,则从文件夹中一次读取一个文件(从旧到新)。在Shiny中绘制一些参数。当新文件添加到文件夹或从文件夹中读取时更新绘图。状态目前,借助SparklyR,我能够一次响应式(Reactive)读取所有文件并生成包含100000个点的绘图(ggplot)。如果我在启动应用程序后添加第11个文件(包含10000行),绘图将更新为110000个点。library(sparklyr)conf=spark_config()conf$spark.drive