草庐IT

spark-jars

全部标签

xml - 如何从 apache spark 框架读取 XML 文件?

我确实在这里遇到了使用spark进行数据预处理的迷你教程:http://ampcamp.berkeley.edu/big-data-mini-course/featurization.html然而,这只讨论文本文件解析。有没有办法从spark系统解析xml文件? 最佳答案 看起来有人为apache-spark制作了一个xml数据源。https://github.com/databricks/spark-xml这支持通过指定标签和推断类型来读取XML文件,例如importorg.apache.spark.sql.SQLContextv

xml - 引用的文件包含错误 (jar :file:/. ../plugins/org.jboss.tools.jst.web_3.5.0.Final-v20130717-0309-B75.jar!/catalog/web-facesconfig_2_2.xsd)

我在eclipse中创建JSF项目,文件faces-config.xml出错Referencedfilecontainserrors(jar:file:/D:/eclips/eclipsek/plugins/org.jboss.tools.jst.web_3.5.0.Final-v20130717-0309-B75.jar!/catalog/web-facesconfig_2_2.xsd).faces-config.xml当我删除以下行时,faces-config.xml中的错误指示消失了http://xmlns.jcp.org/xml/ns/javaee/web-facesconfi

windows - Spark EC2 对 Windows 的支持

所有关于在AmazonEC2上部署Spark集群的文档都是与Linux环境相关的。但是,目前我的分布式项目依赖于一些Windows功能,我想开始使用Windows集群,同时进行必要的更改。p>我想知道是否有任何方法可以让我们以相对类似于spark-ec2脚本的方式在EC2上部署WindowsSpark集群由Spark提供。 最佳答案 spark-ec2目前仅支持使用specificLinuxAMIs在EC2中启动集群,因此目前无法使用该工具部署WindowsSpark集群。我怀疑spark-ec2是否会具备这种能力,因为它使用的所有

java - 从 Windows 批处理文件中自行删除 jar

我有一个Java应用程序,它应该通过在线下载新版本来self更新,然后它应该self删除,我已经管理了更新,现在我需要删除旧的jar文件。由于我的应用程序将只在Windows上运行,我想我可以使用bat文件,所以我编写了创建批处理文件的代码,该批处理文件应该关闭JVM(这样jar文件就不会被锁定)然后它应该删除jar文件,然后它应该删除bat文件(bat文件应该能够self删除)。代码是这样的:Stringpat=newFile("delete.bat").getAbsolutePath();FileWriterfw=newFileWriter(pat);PrintWriterpw=n

java - 无法运行 jar 文件,也无法在 Cmd 中运行

我对编程完全陌生。我刚开始使用Java,目前在BlueJ上工作。我的操作系统是Windows。我不太了解编码。所以基本上我只是做了一个程序。就这样classVedant{publicstaticvoidmain(String[]args){inta;a=1;if(20>a);a=5;{System.out.println("Number="+a);}}}我将其保存为Jar文件。当我双击jar文件时,它没有打开。我已经安装了最新版本的Java。如果我使用cmd打开,我得到一个错误:无法访问jar文件。我尝试使用Launch4J将jar文件转换为exe,但exe文件无法打开。任何帮助是的,

windows - 将 spark.local.dir 设置为不同的驱动器

我正在尝试在Windows10上设置独立的Spark。我想设置spark.local.dir至D:\spark-tmp\tmp,因为目前它似乎正在使用C:\Users\\AppData\Local\Temp,在我的例子中是在SSD驱动器上,考虑到某些数据集的大小,它可能没有足够的空间。所以我更改了文件%SPARK_HOME%\conf\spark-defaults.conf到以下,没有成功spark.eventLog.enabledtruespark.eventLog.dirfile:/D:/spark-tmp/logspark.local.dirfile:/D:/spark-tmp/

R Spark 一次从文件夹中读取一个文件,与 Shiny 集成

我在HDFS上有一个文件夹,其中包含10个CSV文件。每个CSV文件包含10000行和17列。目标响应式读取HDFS上的文件夹。如果文件夹中包含文件,则从文件夹中一次读取一个文件(从旧到新)。在Shiny中绘制一些参数。当新文件添加到文件夹或从文件夹中读取时更新绘图。状态目前,借助SparklyR,我能够一次响应式(Reactive)读取所有文件并生成包含100000个点的绘图(ggplot)。如果我在启动应用程序后添加第11个文件(包含10000行),绘图将更新为110000个点。library(sparklyr)conf=spark_config()conf$spark.drive

java:将图标放入 .jar 文件中以便 Windows 资源管理器可以识别它们?

Windows知道在哪里可以找到.exe或.dll文件中的图标。有什么方法可以在.jar文件中设置图标资源以便Windows可以识别它们吗?(我对XP或Windows7的答案感兴趣) 最佳答案 JavaWebStart可以安装图像以用于桌面快捷方式和菜单项。JWS还支持可以在应用程序加载(和/或更新新类)时显示的启动画面。对图标的支持适用于任何可用Java的桌面PC平台(警告:如果操作系统支持该功能)。 关于java:将图标放入.jar文件中以便Windows资源管理器可以识别它们?,我

java - 在启动时运行 Jar 文件?

我有一个Java应用程序位于系统托盘中,我将其编译为可执行的jar文件。我想在我的程序中添加选项以添加到系统启动项。因为我不知道有什么统一的方法可以为所有操作系统执行此操作,所以我假设我必须编写代码来为我打算支持的每个操作系统执行此操作,所以我从Windows开始。当我尝试使用thecodeavailablehere将它添加到[HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Run]的注册表时|我发现在Windows7和8下,除非我有管理员权限(通过提升的命令提示符运行),否则我对注册表的编辑不适用。然后我花了一

windows - Spark 发射 : find version

我的环境是Windows7,安装了scala2.11.4(运行良好),Java1.8我已经尝试过spark-1.2.0-bin-hadoop2.4和spark-1.2.1-bin-hadoop2.4并且每次我都放bin\spark-shell.cmd我刚刚收到来自Windows的错误:find:'version':Nosuchfileordirectoryelsewasunexpectedatthistime.这里有什么我忽略的吗?非常感谢。更新:(来自spark-class2.cmd)C:\Users\spark-1.2.1-bin-hadoop2.4>for/F"tokens=3"