我想使用ApacheYARN作为集群和资源管理器来运行一个框架，在这个框架中资源将在同一框架的不同任务之间共享。我想使用我自己的分布式堆外文件系统。是否可以将任何其他分布式文件系统与YARN一起使用除了HDFS？如果是，需要实现哪些HDFSAPI？运行YARN需要哪些Hadoop组件？ 最佳答案 这里有一些不同的问题您可以使用YARN部署应用程序，使用类似S3的东西来传播二进制文件吗？是的:LinkedIn过去就是这样部署Samza的，使用http://下载。Samza不需要集群文件系统，因此集群中没有运行hdfs，只有本地file
我的YARN集群中的一个节点有64GB内存和24个内核。我在yarn-site.xml中设置了以下属性:yarn.nodemanager.resource.memory-mb32768yarn.nodemanager.resource.cpu-vcores16但是我发现节点中的nodemanager仍然只有7个容器。我需要设置哪些其他属性？ 最佳答案 你需要告诉YARN如何将内存分解为容器，例如，如果你将每个容器的内存设置为2GB将为你提供16个容器yarn.scheduler.minimum-allocation-mb2048
我正在阅读第4版的“Hadoop权威指南”，并看到了对YARN的DRF的解释(在第4章，主导资源公平性中)Imagineaclusterwithatotalof100CPUsand10TBofmemory.ApplicationArequestscontainersof(2CPUs,300GB),andapplicationBrequestscontainersof(6CPUs,100GB).A’srequestis(2%,3%)ofthecluster,somemoryisdominantsinceitsproportion(3%)islargerthanCPU’s(2%).B’sr
当使用以下脚本在YARN(Hadoop2.6.0.2.2.0.0-2041)上运行Spark1.3.0Pi示例时:#RunonaYARNclusterexportHADOOP_CONF_DIR=/etc/hadoop/conf/var/home2/test/spark/bin/spark-submit\--classorg.apache.spark.examples.SparkPi\--masteryarn-cluster\--executor-memory3G\--num-executors50\/var/home2/test/spark/lib/spark-examples-1.3
在一台有两个inet的机器上设置一个spark集群，一个公用另一个私有(private)。集群中的/etc/hosts文件具有集群中所有其他机器的内部ip，如下所示。internal_ipFQDN但是，当我在YARN客户端模式(pyspark--masteryarn--deploy-modeclient)下通过pyspark请求SparkContext时，akka绑定(bind)到公共(public)ip，因此发生超时。15/11/0723:29:23INFORemoting:Startingremoting15/11/0723:29:23INFORemoting:Remotingst
当我这样做时我无法看到我的节点yarnnode-list,即使我配置了/etc/hadoop/conf/yarn-site.xml具有正确的属性(在我看来，至少根据这个问题SlavenodesnotinYarnResourceManager)。这是我到目前为止所做的:已安装resourcemanager在主人身上已安装nodemanager在奴隶上检查yarn-site.xml为此在所有节点上:yarn.resourcemanager.hostnamemaster-node修改配置文件后，重启resourcemanager和nodemanager分别在主从上。但是当我这样做时yarnn
我有许多要运行的Samza作业。我可以让第一个运行正常。但是，第二个作业似乎处于ACCEPTED状态，并且在我杀死第一个作业之前永远不会转换到RUNNING状态。这是YARNUI的View:这是第二个作业的详细信息，您可以在其中看到没有分配任何节点:我有2个数据节点，所以我应该能够运行多个作业。这是我的yarn-site.xml的相关部分(我在文件中唯一的其他配置是与HA配置、Zookeeper等有关):yarn.scheduler.minimum-allocation-mb128Minimumlimitofmemorytoallocatetoeachcontainerrequesta
“资源管理器”和“hdfsnamenode”是否总是安装在同一台主机上？1)当我想向getnewapplicationid发送http请求(YARNRESTAPI)时我正在使用这个网络uri:http:///ws/v1/cluster/apps/new-application此端口是Resource-ManagerWebUI的http端口，默认值为8088，如img1所示:sourceforimg12)当我想为hdfs命令发送一个http请求(WebHDFSRESTAPI)时，例如getfilestatus我正在使用这个网络uri:http://:/webhdfs/v1/?op=GET
我想尝试在YARN中设置内存，所以我将尝试在yarn-site.xml和mapred-site.xml上配置一些参数。顺便说一句，我使用的是hadoop2.6.0。但是，当我执行mapreduce作业时出现错误。它是这样说的:15/03/1210:57:23INFOmapreduce.Job:TaskId:attempt_1426132548565_0001_m_000002_0,Status:FAILEDError:JavaheapspaceContainerkilledbytheApplicationMaster.Containerkilledonrequest.Exitcodei
使用命令“hadoopjar”和“yarn-jar”运行jar文件有什么区别？我已经在我的MAC上成功地使用了“hadoopjar”命令，但我想确保在我的四个内核上执行是正确的和并行的。谢谢!!! 最佳答案 简答题它们对您来说可能是相同的，但即使它们不同，它们也应该尽其所能地利用您的集群。更长的答案/usr/bin/yarn脚本设置执行环境，以便可以运行所有yarn命令。/usr/bin/hadoop脚本不太关心yarn特定的功能。但是，如果您将集群设置为使用yarn作为mapreduce(MRv2)的默认实现，那么hadoopja
