当使用以下脚本在YARN(Hadoop2.6.0.2.2.0.0-2041)上运行Spark1.3.0Pi示例时:#RunonaYARNclusterexportHADOOP_CONF_DIR=/etc/hadoop/conf/var/home2/test/spark/bin/spark-submit\--classorg.apache.spark.examples.SparkPi\--masteryarn-cluster\--executor-memory3G\--num-executors50\/var/home2/test/spark/lib/spark-examples-1.3
在一台有两个inet的机器上设置一个spark集群，一个公用另一个私有(private)。集群中的/etc/hosts文件具有集群中所有其他机器的内部ip，如下所示。internal_ipFQDN但是，当我在YARN客户端模式(pyspark--masteryarn--deploy-modeclient)下通过pyspark请求SparkContext时，akka绑定(bind)到公共(public)ip，因此发生超时。15/11/0723:29:23INFORemoting:Startingremoting15/11/0723:29:23INFORemoting:Remotingst
当我这样做时我无法看到我的节点yarnnode-list,即使我配置了/etc/hadoop/conf/yarn-site.xml具有正确的属性(在我看来，至少根据这个问题SlavenodesnotinYarnResourceManager)。这是我到目前为止所做的:已安装resourcemanager在主人身上已安装nodemanager在奴隶上检查yarn-site.xml为此在所有节点上:yarn.resourcemanager.hostnamemaster-node修改配置文件后，重启resourcemanager和nodemanager分别在主从上。但是当我这样做时yarnn
我有许多要运行的Samza作业。我可以让第一个运行正常。但是，第二个作业似乎处于ACCEPTED状态，并且在我杀死第一个作业之前永远不会转换到RUNNING状态。这是YARNUI的View:这是第二个作业的详细信息，您可以在其中看到没有分配任何节点:我有2个数据节点，所以我应该能够运行多个作业。这是我的yarn-site.xml的相关部分(我在文件中唯一的其他配置是与HA配置、Zookeeper等有关):yarn.scheduler.minimum-allocation-mb128Minimumlimitofmemorytoallocatetoeachcontainerrequesta
“资源管理器”和“hdfsnamenode”是否总是安装在同一台主机上？1)当我想向getnewapplicationid发送http请求(YARNRESTAPI)时我正在使用这个网络uri:http:///ws/v1/cluster/apps/new-application此端口是Resource-ManagerWebUI的http端口，默认值为8088，如img1所示:sourceforimg12)当我想为hdfs命令发送一个http请求(WebHDFSRESTAPI)时，例如getfilestatus我正在使用这个网络uri:http://:/webhdfs/v1/?op=GET
我想尝试在YARN中设置内存，所以我将尝试在yarn-site.xml和mapred-site.xml上配置一些参数。顺便说一句，我使用的是hadoop2.6.0。但是，当我执行mapreduce作业时出现错误。它是这样说的:15/03/1210:57:23INFOmapreduce.Job:TaskId:attempt_1426132548565_0001_m_000002_0,Status:FAILEDError:JavaheapspaceContainerkilledbytheApplicationMaster.Containerkilledonrequest.Exitcodei
使用命令“hadoopjar”和“yarn-jar”运行jar文件有什么区别？我已经在我的MAC上成功地使用了“hadoopjar”命令，但我想确保在我的四个内核上执行是正确的和并行的。谢谢!!! 最佳答案 简答题它们对您来说可能是相同的，但即使它们不同，它们也应该尽其所能地利用您的集群。更长的答案/usr/bin/yarn脚本设置执行环境，以便可以运行所有yarn命令。/usr/bin/hadoop脚本不太关心yarn特定的功能。但是，如果您将集群设置为使用yarn作为mapreduce(MRv2)的默认实现，那么hadoopja
我的MR作业执行成功。但是当我检查它的历史记录时出现错误:Failedredirectforcontainer_1400260444475_3309_01_000001Failedwhiletryingtoconstructtheredirecturltothelogserver.LogServerurlmaynotbeconfiguredUnknowncontainer.Containereitherhasnotstartedorhasalreadycompletedordoesn'tbelongtothisnodeatall.我的HistoryServer也运行良好。好消息是，我可
是否可以将spark作业提交到yarn集群并使用命令行或在jar中选择哪个用户将“拥有”该作业？spark-submit将从包含用户的脚本中启动。PS:如果集群有一个kerberos配置(和一个keytab脚本)，它仍然可能吗？ 最佳答案 对于非Kerberized集群:exportHADOOP_USER_NAME=zorro在提交Spark作业之前就可以了。如果您想在其余的shell脚本(或交互式shellsession)中恢复为默认凭据，请确保之后unsetHADOOP_USER_NAME。对于kerberized集群，在不破坏
我在基于Kerberos的集群上运行Spark1.1.0、HDP2.1。我可以使用--masteryarn-client成功运行spark-submit，并且结果已正确写入HDFS，但是，该作业没有显示在HadoopAllApplications页面上。我想使用--masteryarn-cluster运行spark-submit但我仍然收到此错误:appDiagnostics:Applicationapplication_1417686359838_0012failed2timesduetoAMContainerforappattempt_1417686359838_0012_0000
