我已将Hadoop2.3部署为单节点集群。由于YARN将资源分配为一个称为容器的单元，我如何知道我的单节点集群中正在运行多少个容器(通过查看日志、控制台等)？.我找不到任何方法来确定这一点，有人可以指导我查看正在使用的容器数量或JVM总数吗？提前致谢! 最佳答案 如果集群已启动并正在运行，您可以在集群的Web应用程序上看到它http://:8088/cluster可以在yarn-site中配置端口号，属性如下yarn.resourcemanager.webapp.address容器的数量取决于资源(cpu、内存)的可用性。以下文件可
我需要在hadoop集群中禁用YARN应用程序的并行执行。现在，YARN具有默认设置，因此多个作业可以并行运行。我看不出这样做有什么好处，因为这两个作业运行得都比较慢。我发现此设置yarn.scheduler.capacity.maximum-applications限制了最大应用程序数量，但它会影响已提交和正在运行的应用程序(如文档中所述)。我想将提交的应用程序保持在队列中，直到当前正在运行的应用程序未完成。如何做到这一点？ 最佳答案 1)将调度程序更改为FairSchedulerHadoop发行版默认使用CapacitySche
因此，对于mapreducev2，您可以使用绑定(bind)到某些YARN队列来管理资源和优先级。基本上通过使用“hadoopjar/xyz.jar-Dmapreduce.job.queuename=QUEUE1/input/output”完美运行。运行sqoop查询时如何将Yarn队列绑定(bind)与Sqoop集成？即。sqoopimport\--connect'jdbc://server'\--target-dir\还有什么？ 最佳答案 对Sqoop也使用相同的方法，即sqoopimport-Dmapreduce.job.qu
谁能告诉我，现有的MapReduce和YARN之间有哪些区别，因为我没有发现这两者之间所有明显的区别？P.S:我要求对这些进行比较。谢谢! 最佳答案 MRv1使用JobTracker创建任务并将其分配给数据节点，当集群扩展到足够大(通常大约4,000个节点)时，这可能成为资源瓶颈。MRv2(又名YARN，“YetAnotherResourceNegotiator”)每个集群都有一个资源管理器，每个数据节点都运行一个节点管理器。对于每个作业，一个从节点将充当ApplicationMaster，监控资源/任务等。
在我们80%满的YARN集群中，我们看到一些yarnnodemanager被标记为不健康。在深入研究日志后，我发现它是因为数据目录的磁盘空间已满90%。出现以下错误2015-02-2108:33:51,590INFOorg.apache.hadoop.yarn.server.resourcemanager.rmnode.RMNodeImpl:Nodehdp009.abc.com:8041reportedUNHEALTHYwithdetails:4/4local-dirsarebad:/data3/yarn/nm,/data2/yarn/nm,/data4/yarn/nm,/data1/
我设置了一个3节点ApacheHadoop集群。在主节点上，我可以看到[hadoop-conf]$jps16856DataNode17051SecondaryNameNode16701NameNode21601ResourceManager21742NodeManager18335JobHistoryServer在从属节点上，我看到了[fedora20-templatedfs]$jps28677Jps28510NodeManager27449DataNode我可以看到来自master:50070的三个事件节点。但是，在ResourceManagerWebUI(http://master
hadoopjob-killjob_id和yarnapplication-killapplication_id有什么区别？job_id和application_id是否代表/指代同一个任务？ 最佳答案 hadoopjob-killjob_id和yarnapplication-killapplication_id这两个命令都用于终止在Hadoop上运行的作业。如果您正在使用MapReduceVersion1(MRV1)并且您想要终止在Hadoop上运行的作业，那么您可以使用hadoopjob-killjob_id杀死一个工作，它会杀死
我在xml文件中启用了日志:yarn-site.xml，然后我重新启动了yarn通过做:sudoservicehadoop-yarn-resourcemanagerrestartsudoservicehadoop-yarn-nodemanagerrestart我运行了我的应用程序，然后我看到了applicationID在yarnapplication-list.所以，我这样做:yarnlogs-applicationId，我得到以下信息:hdfs:///var/log/hadoop-yarn/path/to/application/doesnothaveanylogfiles我需要更改
我已经在3个集群上设置了hadoop2.2.0。一切顺利。NodeManager和Datanode在每个集群中启动。但是，当我运行wordcount示例时，会发生100%映射并出现以下异常:map100%reduce0%13/11/2809:57:15INFOmapreduce.Job:TaskId:attempt_1385611768688_0001_r_000000_0,Status:FAILEDContainerlaunchfailedforcontainer_1385611768688_0001_01_000003:org.apache.hadoop.yarn.exceptio
在EMR中，有没有一种方法可以使用yarn命令在给定配置键的情况下获取配置的特定值？例如我想做这样的事情yarnget-configyarn.scheduler.maximum-allocation-mb 最佳答案 这有点不直观，但结果是hdfsgetconf命令能够检查YARN和MapReduce的配置属性，而不仅仅是HDFS。>hdfsgetconf-confKeyfs.defaultFShdfs://localhost:19000>hdfsgetconf-confKeydfs.namenode.name.dirfile:///
