草庐IT

spark_libs

全部标签

windows - 名称为 'svn_delta' 的临时文件已在/usr/lib/perl5/vendor_perl/5.14/Git.pm 第 1024 行使用

我正在尝试在svn存储库上将gitsvnclone与cygwin64一起使用,但我不断收到错误消息:Tempfilewithmoniker'svn_delta'alreadyinuseat/usr/lib/perl5/vendor_perl/5.14/Git.pmline1024.如何解决这个问题?Ifoundthisonethat'srelatedtomacs,但我在window上。那里的两个主要答案是:“更改~/.subversion/servers”我不知道它在Windows7中的什么位置。“全面升级到最新的Git(1.8.5应该在下周发布)和最新的SVN1.8可以帮助让事情顺利

windows - 带有 Hadoop 发行版的 Apache Spark 无法在 Windows 上运行

我尝试使用Cygwin在Windows上运行spark-1.5.1-bin-hadoop2.6发行版(以及具有相同结果的较新版本的Spark)。尝试在bin文件夹中执行spark-shell脚本时,我得到以下输出:错误:无法找到或加载主类org.apache.spark.launcher.Main我尝试将CLASSPATH设置为lib/spark-assembly-1.5.1-hadoop2.6.0.jar的位置,但无济于事。(仅供引用:我可以在我的MAC上运行相同的发行版,无需额外的设置步骤)请协助寻找在Windows上执行Cygwin的解决方案。 最佳答

python - 如何将 spark 与 python 或 jupyter 笔记本一起使用

我正在尝试在python中处理12GB的数据,我迫切需要使用Spark,但我想我太愚蠢了,不能自己使用命令行或使用互联网,这就是为什么我想我必须转向SO,所以到目前为止,我已经下载了spark并解压缩了tar文件或其他任何东西(对语言感到抱歉,但我觉得自己很愚蠢而且出局)但现在我无处可去。我在spark网站文档中看到了说明,上面写着:Spark还提供了一个PythonAPI。要在Python解释器中以交互方式运行Spark,请使用bin/pyspark但在哪里执行此操作?请帮忙。编辑:我正在使用Windows10注意::我在尝试安装某些东西时总是遇到问题,主要是因为我似乎无法理解命令提

windows - 为什么 Zeppelin 0.6.2 笔记本在 Windows 上使用 Spark 2.0 失败并显示 "The input line is too long"?

我在带有Spark2.0的Windows中运行Zeppelin0.6.2SPARK_HOME=C:\Users\anbarasu.r\Desktop\Archive\spark-2.0.0-bin-hadoop2.6JavaHotSpot(TM)64-BitServerVMwarning:ignoringoptionMaxPermSize=512m;supportwasremovedin8.0SLF4J:ClasspathcontainsmultipleSLF4Jbindings.SLF4J:Foundbindingin[jar:file:/C:/Users/anbarasu.r/De

windows - 将 x32 lib 与 x64 进程集成的最佳方法是什么(无需将 lib 转换为 x64)?

我继承了一个在x32中编译的库,但我无法将其编译为x64。我认为可能是用x32进程封装lib,然后通过调用CreateProcess函数winapi在x64进程中运行它。然后我将使用共享内存将API库x32接口(interface)之间的数据传输到x64进程。我是不是漏掉了什么(看起来很复杂)? 最佳答案 他们的回答是你不能直接这样做。进程是32位或64位的。64位进程无法加载32位代码。是的,您必须在32位进程中运行32位代码,并在它与64位进程之间使用某种类型的接口(interface)。根据您的代码,这可能需要大量工作。执行此

c# - 如何在 C# 中运行 Apache Spark 源代码

我想通过将sparkjava/scalaapi转换为dll文件来从C#运行apachespark源代码。我已经提到ikvm/ikvmc将sparkjar文件转换为dll文件,但无法获得正确的结果。有没有办法在C#中运行spark源?请指导我解决这个问题?ApacheSpark已经支持Java、Scala、R、Python语言运行spark。future是否会提供对C#的支持? 最佳答案 ApacheSpark的C#语言绑定(bind)现在可通过Mobius获得。参见https://github.com/Microsoft/Mobiu

Spark搭建/Hadoop集群

一、Spark概述.Spark于2009年诞生于美国加州大学伯克利分校的AMP实验室,它是一个可应用于大规模数据处理的统一分析引擎。Spark不仅计算速度快,而且内置了丰富的API,使得我们能够更加容易编写程序。Spark在2013年加入Apache孵化器项目,之后获得迅猛的发展,并于2014年正式成为Apache软件基金会的顶级项目。Spark生态系统已经发展成为一个可应用于大规模数据处理的统一分析引擎,它是基于内存计算的大数据并行计算框架,适用于各种各样的分布式平台的系统。在Spark生态圈中包含了SparkSQL、SparkStreaming、GraphX、MLlib等组件。 图1-1 

c# - 在独立应用程序中使用 Spark View Engine

我的客户端应用程序需要生成HTML。我想使用像Spark这样的模板/View引擎解决方案,但我不确定Spark是否可以在ASP.NET应用程序之外使用。有谁知道以这种方式使用Spark的任何示例或文档?(如果您知道其他可以独立使用的View引擎解决方案,我也很想知道。) 最佳答案 除了其他示例之外,我还在Spark源代码中找到了一个简单的示例。Xpark项目是一个使用Spark转换XML的命令行应用程序。LouisDeJardin,Spark的创造者,描述了howXparkworks在他的博客上。相关代码片段为://Createan

c# - NuGet 包无法为 lib 目录中的 DLL 添加对项目的引用

我正在尝试打包引用C++DLL的.NETDLL。nuspec文件如下所示:MyPackage1.0.0someauthorsomeownerfalse.NETWrapperforrebuilt64-bitversionofMyPackageCopyright2014当我检查生成的nupkg文件时,内部文件结构看起来是正确的。C++DLL在content中,.NETDLL在lib中。当我将nupkg安装到项目中时,内容DLL被添加到项目根目录,而libDLL被添加到解决方案packages目录。但是,没有引用被添加到项目中。我被迫手动添加引用。我尝试将以下节点添加到元数据,但无济于事:我

【李老师云计算】实验二:Spark集群的搭建与求解最大值

索引前言1.Spark部署1.1下载Spark1.2解压Spark1.3修改环境变量1.4修改主机Spark配置文件1.4.1slaves.template文件配置1.4.2spark-env.sh.template文件配置1.5分享主机Spark到从机1.6启动Spark集群(★重启后的操作)1.7通过jps查看是否启动成功1.8通过网页查看是否启动成功2.ScalaMaven项目访问Spark(local模式)100个随机数求最大值2.1下载ScalaIDE2.2解压ScalaIDE2.3下载Scala(主机+从机)2.4添加环境变量(主机+从机)2.5创建Scala项目2.6配置Scal