我在具有高可用性的Hadoop集群上运行Spark-submit命令时遇到异常。以下命令在未启用HA的其他集群上运行良好。spark-submit--masteryarn-client--executor-memory4g--executor-cores2--classcom.domain.app.module.mainclasstarget/SNAPSHOT-jar-with-dependencies.jar同一命令在启用HA的集群上不起作用并抛出以下异常。Exceptioninthread"main"java.lang.AbstractMethodError:org.apache.
我们正在使用命令/home/ubuntu/spark/bin/spark-submit--masteryarn--deploy-modecluster--class"SimpleApp"/home/ubuntu/spark/examples/src/main/scala/sbt/target/scala-2.11/teste_2.11-1.0.jar运行下面的脚本importorg.apache.spark.sql.SQLContextimportorg.apache.spark.sql._importorg.apache.spark.sql.types._importorg.apac
有没有办法在执行sparksubmit时覆盖core-site属性值？我可以在spark-env.sh中使用HADOOP_CONF_DIR变量来指向一个新的核心站点文件，但我只想覆盖几个值以便为每个spark作业使用不同的存储帐户。 最佳答案 找到了我自己问题的答案。hadoop相关的配置可以通过预先固定“spark.hadoop”到属性键来覆盖，然后提交给sparkconf。即Spark提交--sparkconfspark.hadoop.io.file.buffer.size12952查看源代码:https://github.co
我正在尝试通过以下方式使用Amazonec2进行spark-submit:spark-submit--packagesorg.apache.hadoop:hadoop-aws:2.7.1--masterspark://amazonaws.comSimpleApp.py我最终遇到了以下错误。好像是在找hadoop。我的ec2集群是使用spark-ec2命令创建的。IvyDefaultCachesetto:/home/adas/.ivy2/cacheThejarsforthepackagesstoredin:/home/adas/.ivy2/jars::loadingsettings::u
我在独立模式下运行spark-submit或pyspark时遇到问题，如下所示:spark/bin/pyspark--masterspark://:这通常会使用所有节点(至少在以前的版本中)在UI中创建一个正在运行的Spark应用程序。出于某种原因，这样做只会在主节点上运行它，尽管UI显示所有节点都连接到主节点。从节点上的日志中没有错误。任何人都知道可能出了什么问题？作为引用，我的spark-env.sh具有以下配置:exportHADOOP_CONF_DIR=/mnt/hadoop/etc/hadoopexportSPARK_PUBLIC_DNS=exportSPARK_MASTER
只是想得到澄清，如果spark-submit--keytab--principal&&--proxy-user参数可以共存吗？我们要求以真实的业务用户身份提交作业，但该用户在hadoopkdc中没有主体。每当同时使用proxy-user和kerberosprincipal时，我都会遇到异常。17/02/0913:51:43INFODFSClient:CreatedHDFS_DELEGATION_TOKENtoken379foratlason10.12.118.92:8020Exceptioninthread"main"java.io.IOException:java.lang.refl
当我使用带有masteryarn和部署模式集群的spark-submit提交spark作业时，它不会打印/返回任何applicationId，作业完成后我必须手动检查MapReducejobHistory或sparkHistoryServer以获取作业详细信息.我的集群被许多用户使用，需要花费大量时间才能在jobHistory/HistoryServer中发现我的工作。有没有办法配置spark-submit返回applicationId？注意:我发现了许多类似的问题，但他们的解决方案使用sparkcontext.applicationId在驱动程序代码中检索applicationId，
我已经使用YARN设置了一个5节点的hadoop集群，Spark也设置在所有5个节点上。我正在使用spark-1.5.0-cdh5.5.0当我运行时spark-shell--masteryarn--num-executors3这会按预期启动一个shell，并使用yarn从RM获取资源。所以，我猜spark正在按预期使用hadoopconf文件。但是当我做spark-submit时spark-submitword_count.py--masteryarn-cluster--num-executors3这是尝试连接到sparkmaster，据信在yarn上运行时不需要这样做。错误如下:16
我正在尝试通过以下命令向CDHyarn集群提交一个spark作业我尝试了几种组合，但都不行......我现在所有的poijar都位于我的本地/root以及HDFS/user/root/lib中，因此我尝试了以下操作spark-submit--masteryarn-cluster--class"ReadExcelSC"./excel_sc.jar--jars/root/poi-3.12.jars,/root/poi-ooxml-3.12.jar,/root/poi-ooxml-schemas-3.12.jarspark-submit--masteryarn-cluster--class"
我有一个关于YARN“FairScheduler”的基本问题。根据thedefinition“公平调度程序-公平调度是一种将资源分配给应用程序的方法，以便所有应用程序平均随着时间的推移获得相等的资源份额”。以下是我的理解和疑问。(1)如果多个应用程序在YARN上运行，那么它将确保所有应用程序在一段时间内或多或少地获得相等的资源份额。(2)我的问题是，如果在YARN中这个属性设置为true那么如果我们在提交spark-submit时使用以下配置会有什么不同吗？(i)driver-memory(ii)executor-memory(iii)num-executors(iv)executor
