草庐IT

SPARK_DIST_CLASSPATH

全部标签

windows - Spark 发射 : find version

我的环境是Windows7,安装了scala2.11.4(运行良好),Java1.8我已经尝试过spark-1.2.0-bin-hadoop2.4和spark-1.2.1-bin-hadoop2.4并且每次我都放bin\spark-shell.cmd我刚刚收到来自Windows的错误:find:'version':Nosuchfileordirectoryelsewasunexpectedatthistime.这里有什么我忽略的吗?非常感谢。更新:(来自spark-class2.cmd)C:\Users\spark-1.2.1-bin-hadoop2.4>for/F"tokens=3"

windows - 如何在 Windows 10 上逐步设置 Spark

我尝试在Windows10上设置spark,在堆栈溢出方面发现了很多好的解决方案。因此,我正在尝试结合所有解决方案并创建标准化的安装步骤 最佳答案 安装前需要下载以下内容:JAVAJDK-http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.htmlSBT和Scala-https://www.scala-lang.org/download/Winutils.exe-https://github.com/steveloughran/

windows - 如何在 Windows 上访问 Spark 中的本地文件?

我在Windows上使用Spark。我知道在*nix中,访问本地文件代码是这样的:valtextFile=sc.textFile("file:///usr/local/spark/README.md")但是如何在Windows上访问本地文件?我尝试了以下方法:vallogFile="C:\spark-1.3.1-bin-hadoop2.4\README.md"vallogFile="file\\C:\spark-1.3.1-bin-hadoop2.4\README.md"但都行不通。 最佳答案 不幸的是,在Windows中你必须转义

java - 使用 Java 8 在 Windows 上调试 spark 进程

我可以使用cmd.exe中的命令在Windows上运行spark:setCLASS=org.apache.spark.deploy.SparkSubmit%SPARK_HOME%\bin\spark-class2.cmd%CLASS%--class"com.sel2in.TstFac"--masterlocal[4]target\scala-2.11\theApp_2.11-1.0.jar在spark-class2.cmd中要添加远程调试选项:setJOPTS=setJOPTS=-agentlib:jdwp=transport=dt_socket,server=y,address=80

windows - Spark WindowedApplication,监听keyUp事件

我有一个WindowedApplication,我需要监视keyUp以便我可以在按下转义键时关闭应用程序。但是,我的代码不起作用:似乎这个事件根本没有触发,我什至试图覆盖keyUpHandler并追踪一些信息,但没有。 最佳答案 我找到了thissimilarquestion在Adob​​e论坛上,它帮助解决了问题。我通过监听applicationComplete然后在处理程序中将keyUp监听器附加到stage来解决。 关于windows-SparkWindowedApplicatio

java - 无法在 Windows 10 上设置 Apache Spark 2.1.1

我已经在Windows10上安装了ApacheSpark2.1.1,Java1.8和Python版本3.6Anaconda4.3.1。我还下载了JAVA_HOME、HADOOP_HOME和SPARK_HOME的winutils.exe和设置环境变量,并更新了路径变量。我还运行了winutils.exechmod-R777\tmp\hive。但是在cmd提示符下运行pyspark时出现以下错误。请有人帮忙,如果我遗漏了任何重要细节,请告诉我提前致谢!c:\Spark>bin\pysparkPython3.6.0|Anaconda4.3.1(64-bit)|(default,Dec2320

windows - 如何复制树文件夹但只保留每个文件夹中名为 "dist"的文件夹?

如何使用Windowscmd(或bat文件)复制具有以下结构的文件夹树:来源/文件夹1/dist来源/文件夹1/其他文件..(多个)来源/文件夹2/dist来源/文件夹2/其他文件..(多个)...问题是我只想保留每个“文件夹#”中的dist文件夹,例如最终形式为:目的地/文件夹1/dist目的地/文件夹2/dist谢谢!ukw. 最佳答案 从命令行使用for/d%ain("x:\source\*")doxcopy/s/e/y/i"%~fa\dist""x:\destination\%~nxa\dist"要在批处理文件中使用,可替换

windows - winutils spark windows 安装 env_variable

我正在尝试在Windows10上安装Spark1.6.1,到目前为止我已经完成了以下操作......下载spark1.6.1,解压到某个目录,然后设置SPARK_HOME下载scala2.11.8,解压到某个目录,然后设置SCALA_HOME设置_JAVA_OPTION环境变量从https://github.com/steveloughran/winutils.git下载了winutils只需下载zip目录,然后设置HADOOP_HOME环境变量。(不确定这是否不正确,因为权限被拒绝,我无法克隆该目录)。当我回到sparkhome并运行bin\spark-shell时,我得到了'C:\

java - 在 Windows 批处理文件中编译 CLASSPATH

在Unix系统上,使用find编译CLASSPATH非常容易:LIBDIR=`findlib/-name\*.jar`forDIRin$LIBDIR:doCLASSPATH="$CLASSPATH:$DIR"donejava-classpath$CLASSPATHcom.example.MyClassWindows批处理文件中的等效项是什么? 最佳答案 同样可以在WindowsXP上实现:setlocalENABLEDELAYEDEXPANSIONFOR/R.\lib%%GIN(*.jar)DOsetCLASSPATH=!CLASS

python - Pyinstaller导入错误: cannot import name 'dist' on Windows

我正在尝试使用Pyinstaller(3.3版)在Windows(8.1版)上将Python(3.6版)项目构建到单个exe文件中。该项目包括PyQt5、numpy、matplotlib依赖项。Pyinstaller写道:BuildingEXEfromout00-exe.toccompletedsuccessfully.但是当我运行exe文件时,我得到:...File"distutils\__init__.py",line44,inImportError:cannotimportname'dist'[6748]Failedtoexecutescriptmyproj第44行的文件"dis