谁能告诉我，现有的MapReduce和YARN之间有哪些区别，因为我没有发现这两者之间所有明显的区别？P.S:我要求对这些进行比较。谢谢! 最佳答案 MRv1使用JobTracker创建任务并将其分配给数据节点，当集群扩展到足够大(通常大约4,000个节点)时，这可能成为资源瓶颈。MRv2(又名YARN，“YetAnotherResourceNegotiator”)每个集群都有一个资源管理器，每个数据节点都运行一个节点管理器。对于每个作业，一个从节点将充当ApplicationMaster，监控资源/任务等。
在我们80%满的YARN集群中，我们看到一些yarnnodemanager被标记为不健康。在深入研究日志后，我发现它是因为数据目录的磁盘空间已满90%。出现以下错误2015-02-2108:33:51,590INFOorg.apache.hadoop.yarn.server.resourcemanager.rmnode.RMNodeImpl:Nodehdp009.abc.com:8041reportedUNHEALTHYwithdetails:4/4local-dirsarebad:/data3/yarn/nm,/data2/yarn/nm,/data4/yarn/nm,/data1/
我设置了一个3节点ApacheHadoop集群。在主节点上，我可以看到[hadoop-conf]$jps16856DataNode17051SecondaryNameNode16701NameNode21601ResourceManager21742NodeManager18335JobHistoryServer在从属节点上，我看到了[fedora20-templatedfs]$jps28677Jps28510NodeManager27449DataNode我可以看到来自master:50070的三个事件节点。但是，在ResourceManagerWebUI(http://master
hadoopjob-killjob_id和yarnapplication-killapplication_id有什么区别？job_id和application_id是否代表/指代同一个任务？ 最佳答案 hadoopjob-killjob_id和yarnapplication-killapplication_id这两个命令都用于终止在Hadoop上运行的作业。如果您正在使用MapReduceVersion1(MRV1)并且您想要终止在Hadoop上运行的作业，那么您可以使用hadoopjob-killjob_id杀死一个工作，它会杀死
我在xml文件中启用了日志:yarn-site.xml，然后我重新启动了yarn通过做:sudoservicehadoop-yarn-resourcemanagerrestartsudoservicehadoop-yarn-nodemanagerrestart我运行了我的应用程序，然后我看到了applicationID在yarnapplication-list.所以，我这样做:yarnlogs-applicationId，我得到以下信息:hdfs:///var/log/hadoop-yarn/path/to/application/doesnothaveanylogfiles我需要更改
我已经在3个集群上设置了hadoop2.2.0。一切顺利。NodeManager和Datanode在每个集群中启动。但是，当我运行wordcount示例时，会发生100%映射并出现以下异常:map100%reduce0%13/11/2809:57:15INFOmapreduce.Job:TaskId:attempt_1385611768688_0001_r_000000_0,Status:FAILEDContainerlaunchfailedforcontainer_1385611768688_0001_01_000003:org.apache.hadoop.yarn.exceptio
在EMR中，有没有一种方法可以使用yarn命令在给定配置键的情况下获取配置的特定值？例如我想做这样的事情yarnget-configyarn.scheduler.maximum-allocation-mb 最佳答案 这有点不直观，但结果是hdfsgetconf命令能够检查YARN和MapReduce的配置属性，而不仅仅是HDFS。>hdfsgetconf-confKeyfs.defaultFShdfs://localhost:19000>hdfsgetconf-confKeydfs.namenode.name.dirfile:///
突然，我的YARN集群停止工作，我提交的所有内容都失败并显示“退出代码1”。我想找出那个问题，但一旦应用程序失败，YARN就会删除日志文件。我必须为YARN调整什么配置设置才能保留这些日志文件？ 最佳答案 您的容器似乎正在退出，退出代码为1。您无法在UI上看到日志，因为默认情况下，日志聚合是禁用的。以下参数确定日志聚合:“yarn.log-aggregation-enable”(如果禁用日志聚合，则设置为“false”)。如果设置为“false”，则所有节点管理器都将容器日志存储在本地目录中，该目录由以下配置参数决定:“yarn.n
我运行Hortonworks的基本示例yarnapplicationexample.应用程序失败，我想阅读日志以找出原因。但是我在存储我的mapreduce作业日志的预期位置(/HADOOP_INSTALL_FOLDER/logs)找不到任何文件。有人知道yarn在哪里存储非mapreduce日志文件吗？我是否必须在xml文件中配置一个特殊目录？ 最佳答案 容器日志应该在yarn.nodemanager.log-dirs下:Wheretostorecontainerlogs.Anapplication'slocalizedlogdi
我了解MRv1的工作原理。现在我正在尝试了解MRv2..YARN中的ApplicationManager和ApplicationMaster有什么区别？ 最佳答案 术语ApplicationMaster和ApplicationManager经常互换使用。实际上，ApplicationMaster是请求、启动和监控应用程序特定资源的主要容器，而ApplicationManager是ResourceManager中的一个组件。下面给出了有关应用程序管理器的更多详细信息。ApplicationsManager负责维护提交的集合应用程序。申
