我有一个包含1个名称节点和6个数据节点的集群。停用3个数据节点后。我们的YARN服务总是很糟糕。并且似乎其中一个数据节点上的节点管理器从未成功启动。然后我尝试重新启动那个盒子上的节点管理器。这是日志。2014-08-0111:19:08,217INFOorg.apache.hadoop.metrics2.impl.MetricsSystemImpl:NodeManagermetricssystemshutdowncomplete.2014-08-0111:19:08,217FATALorg.apache.hadoop.yarn.server.nodemanager.NodeManage

我们有一个12台服务器的hadoop集群(CDH)，最近，我们想停用其中的三台，但是这个进程已经在那里运行了2天多了。但它永远不会结束，特别是在过去的24小时内，我看到三个数据节点上只有94G数据可用，但在过去的24小时内大小似乎没有变化。即使通过复制不足的block数也已经为零。hdfs中的所有数据的复制因子都是3。以下是hadoopfsck命令的结果:总大小:5789534135468B(打开文件总大小:94222879072B)目录总数:42458文件总数:5494378符号链接(symboliclink)总数:0(当前正在写入的文件:133)block总数(已验证):55065

如果我们停用一个数据节点，而该节点上正在对HDFS进行写入，会发生什么情况？它会停止将数据写入该节点上的HDFS并停用该节点，还是完成写入然后停用它。 最佳答案 我在cloudera中找到了解决方案。停用仅适用于HDFSDataNode、MapReduceTaskTracker、YARNNodeManager和HBaseRegionServer角色。如果主机上有其他角色在运行，这些角色将被停止/杀死。http://www.cloudera.com/content/cloudera/en/documentation/core/late

编辑:我终于弄明白问题出在哪里了。一些文件设置了非常高的复制因子，我正在将我的集群减少到2个节点。一旦我降低了这些文件的复制因子，退役就很快成功结束了。我在dfs.hosts.exclude和mapred.hosts.exclude文件中添加了要停用的节点，并执行了这个命令:bin/hadoopdfsadmin-refreshNodes。在NameNodeUI中，我在DecommissioningNodes下看到了这个节点，但它花费的时间太长，而且我没有太多关于正在退役的节点的数据。停用节点是否总是需要很长时间，或者我应该寻找某个地方？我不确定到底发生了什么。我在这个节点上也没有看到任

icpc竞赛退役经验分享2       近期基地老师说要分享一下竞赛经历，上一篇主要聊训练方法，这次主要聊聊参赛的心路历程。       按照很多选手的说法，算法竞赛与其说是比算法，说成比脑子可能更加合适，如果一道题只需要套路的使用某几种高难度算法，那么这一定不是一道好的算法题，因此竞赛的难度是很大的。       在一个偶然的机会下，我参加了**雨学姐的分享会，对这个比赛产生了兴趣，大一的寒假，我第一次踏进算法竞赛的圈子。而要参加竞赛需要先加入基地，在初次的基地选拔赛时，我没有达到要求的题数，未能进入基地。       相对于其他的选手，我本身不是计算机相关专业，同时其他方面也没有什么突出的

icpc竞赛退役经验分享2       近期基地老师说要分享一下竞赛经历，上一篇主要聊训练方法，这次主要聊聊参赛的心路历程。       按照很多选手的说法，算法竞赛与其说是比算法，说成比脑子可能更加合适，如果一道题只需要套路的使用某几种高难度算法，那么这一定不是一道好的算法题，因此竞赛的难度是很大的。       在一个偶然的机会下，我参加了**雨学姐的分享会，对这个比赛产生了兴趣，大一的寒假，我第一次踏进算法竞赛的圈子。而要参加竞赛需要先加入基地，在初次的基地选拔赛时，我没有达到要求的题数，未能进入基地。       相对于其他的选手，我本身不是计算机相关专业，同时其他方面也没有什么突出的