我在用yarn提交spark作业jar时遇到问题。当我使用--masteryarn-client提交它时，它运行良好并给我预期的结果命令如下；./spark-submit--classmain.MainClass--masteryarn-client--driver-memory4g--executor-memory4g--num-executors4--executor-cores2job.jar其他选项但是当提交到集群模式时同样不起作用；命令如下;./spark-submit--classmain.MainClass--masteryarn--deploy-modecluster-
我正在尝试了解如何将MR作业提交到基于YARN的Hadoop集群。案例1:对于只有一个ResourceManager(即NOHA)的情况，我们可以像这样提交作业(我实际使用过，我认为是正确的)。hadoopjarword-count.jarcom.example.driver.MainDriver-fshdfs://master.hadoop.cluster:54310-jtmaster.hadoop.cluster:8032/first/dir/IP_from_hdfs.txt/result/dir可以看出，RM在端口8032上运行，NN在54310上运行，我指定了主机名，因为只有一
我有cloudera5.7，我也有ClouderaManager。在目录/etc/hadoop下，我看到了三个子目录。/etc/hadoop/conf/etc/hadoop/conf.cloudera.HDFS//etc/hadoop/conf.cloudera.YARN/../conf/中的hadoop-env.sh不同于../conf.cloudera.HDFS/..../conf/中的core-site.xml也不同于../conf.cloudera.HDFS/..。../conf/下的hadoop-env.sh在YARN上有设置，而../conf.cloudera.HDFS下没
我编写了一个Spark应用程序，它读取一些CSV文件(~5-10GB)，转换数据并将数据转换为HFiles。数据从HDFS读取并保存到HDFS。当我在yarn-client中运行应用程序时，一切似乎都工作正常模式。但是当我尝试以yarn-cluster运行它时应用程序，进程似乎没有运行最终saveAsNewAPIHadoopFile对我已转换并准备好保存的RDD采取行动!这是我的SparkUI的快照，您可以在其中看到所有其他作业都已处理:以及相应的阶段:这是我应用程序的最后一步，其中saveAsNewAPIHadoopFile方法被调用:JavaPairRDDcells=...try{
需要帮助将参数从xargs传递到后续的Hadoop命令。我从这个命令得到如下结果。yarnapplication-list-appStatesRUNNING|grep|awk'{print$1}'上述命令的结果如下。17/09/1912:24:36INFOclient.ConfiguredRMFailoverProxyProvider:Failingovertorm21TotalApplication-Idapplication_1505017974932_14847application_1505017974932_14815application_1505017974932_148
我想使用YARNjavaAPI提交我的MR作业，我尝试像WritingYarnApplications那样做,但我不知道要添加什么amContainer，下面是我写的代码:packageorg.apache.hadoop.examples;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.yarn.api.protocolrecords.GetNewApplicationResponse;importorg.apache.hadoop.yarn.api.records.ApplicationId;imp
我是运行hadoopcloudera5.13实现的团队的一员。我想知道是否有办法在维护中设置yarnnodemanagers，从而运行它重命名容器但不接受任何新容器？我没有cloudera企业解决方案。尝试使用cli工具yarnrmadmin找到一些有用的东西，但无法做到。或者我唯一能做的就是关闭节点管理器并让我的用户容器死掉？ 最佳答案 您正在寻找的是Gracefuldecommissioning。在YARN(MR2Included)PropertiesinCDH5.9.0属性yarn.resourcemanager.nodema
设置场景我正在努力使Spark流应用程序(Spark2.2.1withScala)在Yarn集群(Hadoop2.7.4)上运行。到目前为止，我已经成功地使用spark-submit将应用程序提交到Yarn集群。我可以看到接收器任务正确启动并从数据库(CouchbaseServer5.0)中获取大量记录，我还可以看到记录被分成批处理。问题当我查看SparkWebUI上的流统计信息时，我可以看到我的批处理从未被处理过。我看到有0条记录的批处理处理并完成，但是当有记录的批处理开始处理时，它永远不会完成。有一次它甚至卡在了0条记录的批处理上。我什至尝试尽可能简化SteamingContext
我正在尝试为我的4节点集群配置Yarn和Spark。每个节点都有以下规范:24核23.5GB内存换掉到目前为止，我配置了Yarn和Spark，Spark可以执行SparkPi示例计算，但这仅在yarn-site.xml的以下配置下有效:yarn.acl.enable0yarn.resourcemanager.hostnameds11yarn.nodemanager.resource.memory-mb20480yarn.scheduler.maximum-allocation-mb20480yarn.scheduler.minimum-allocation-mb1536yarn.nod
关于运行命令yarnapplication-list在我的hadoop集群上，它返回正在运行的应用程序列表。我想使用Java获取此列表。目前我正在使用yarnClientAPIorg.apache.hadoophadoop-common2.7.3org.apache.hadoophadoop-yarn-client2.7.0我的代码如下:YarnConfigurationconf=newYarnConfiguration();YarnClientyarnClient=YarnClient.createYarnClient();yarnClient.init(conf);yarnClie
