草庐IT

nameNode

全部标签

Hadoop hdfs namenode 启动命令失败。也没有格式化?

很像我运行命令sudoservicehadoop-hdfs-namenodestart时的状态,命令失败并显示以下消息。2015-02-0116:51:22,032INFOorg.apache.hadoop.hdfs.server.namenode.NameNode:registeredUNIXsignalhandlersfor[TERM,HUP,INT]2015-02-0116:51:22,379WARNorg.apache.hadoop.metrics2.impl.MetricsConfig:Cannotlocateconfiguration:triedhadoop-metrics

java - Namenode 未在 Hortonworks 沙盒上启动

我正在尝试运行HDFS但namenode没有启动,我也尝试通过像这样的命令启动它sudo-l/usr/hdp/hadoop/sbin/hadoop-daemon.sh--config/usr/hdp/hadoop/confstartnamenode但是还没有开始。我看过hadoop日志并收到以下错误:错误2015-04-2810:36:04,752FATALnamenode.NameNode(NameNode.java:main(1509))-Failedtostartnamenode.java.io.FileNotFoundException:/hadoop/hdfs/namenod

java - 重启的namenode遭受 block 报告 Storm

当我们基于hadoopv2.4.1的standbynamenode故障重启时,发现namenode退出safemode后忙得无法及时响应。我们扔了好几堆,它们看起来都是这样的,Thread212(IPCServerhandler148on8020):State:WAITINGBlockedcount:66Waitedcount:598Waitingonjava.util.concurrent.locks.ReentrantLock$FairSync@60ea5634Stack:sun.misc.Unsafe.park(NativeMethod)java.util.concurrent.

java - 在 mac os 上配置 hadoop namenode 时出现 yarn-site.xml 错误

我正在尝试将我的mac配置为hadoop名称节点。输入此命令后:bin/hdfsnamenode-format我收到这个错误:[FatalError]yarn-site.xml:3:4:Commentmuststartwith"但是yarn-site.xml文件有那个注释。这是该文件的内容:yarn.nodemanager.aux-servicesmapreduce_shuffle任何建议将不胜感激。 最佳答案 这里有个小错误:这应该是(注意第二个“-”。您需要将“—”替换为“-”):所以更正后的文档是(我使用XMLValidato

hadoop - 部署 HBase Master 和 hadoop namenode

我想知道是否有关于根据HadoopNamenodes安装HBasemaster的一般建议。 最佳答案 您应该使用zookeeper在3个节点上设置HBasemaster以实现高可用性。在生产环境中,您不应该在运行名称节点的节点上运行任何东西。Namenode是HDFS最关键的组件,如果它宕机,集群上就没有其他可用的组件了。因此,最好有完全独立的节点来尽可能地缓解问题。 关于hadoop-部署HBaseMaster和hadoopnamenode,我们在StackOverflow上找到一个类

Hadoop 2.7.2 - 错误 : Could not find or load main class org. apache.hadoop.hdfs.server.namenode.NameNode

我是新手,我正在尝试找到解决这个问题的方法。为了在Ubuntu15.10上设置Hadoop2.7.2http://idroot.net/tutorials/how-to-install-apache-hadoop-on-ubuntu-14-04/当我启动“hdfsnamenode格式”时,我继续收到此错误错误:无法找到或加载主类org.apache.hadoop.hdfs.server.namenode.NameNode这是bashrc内容exportJAVA_HOME=/usr/lib/jvm/java-8-oracleexportHADOOP_INSTALL=/usr/local/

hadoop - Namenode 未启动 -su :/home/hduser/. ./libexec/hadoop-config.sh: 没有这样的文件或目录

在Ubuntu15.10上安装了Hadoop2.7.1一切正常,只有当我点击JPS时,我才能看到所有的恶魔都在运行,除了namenode。在启动时显示:-su:/home/hduser/../libexec/hadoop-config.sh:Nosuchfileordirectory当我用谷歌搜索时我才知道,我可以忽略它,因为我的dfs.namenode.name.dirfile:/usr/local/hadoop_store/hdfs/namenodedfs.datanode.data.dirfile:/usr/local/hadoop_store/hdfs/datanode设置正确

hadoop - NameNode 和辅助 Namenode

如果所有Namenode都发生故障,Secondarynamenode的作用是什么? 最佳答案 在开始之前,我将解释一下NN和SNN的作用。NameNode:它包含数据节点的元数据、目录树结构、fsimage以及与整个集群相关的编辑日志SecondaryNameNode:它定期从NN收集fsimage和编辑日志,然后将它们合并到新的fsimage文件中,它会再次推回NN减少NN元数据的大小所以如果NN失败了SNN不会收到来自NN的任何更新你的整个集群都宕机了在SNN的帮助下,您可以启动另一个节点作为NN,但SNN不会执行NN工作。只

hadoop - 如果 namenode 和 ZooKeeper 一起失败会发生什么

如果namenode和ZooKeeper一起失败会发生什么。这可能吗?另外,各种QJM是否保留彼此的日志编辑? 最佳答案 如果Zookeeper服务器安装在其他节点上(不是在namenode上)。它使另一个备用名称节点进入事件状态。如果您安装了超过1个zookeeper服务器,例如考虑您安装了3个zookeeper服务器。如果其中一个zookeeper失败,将进行选举过程并激活新的zookeeper。 关于hadoop-如果namenode和ZooKeeper一起失败会发生什么,我们在S

hadoop - 当 NameNode 宕机时,hadoop 作业会发生什么?

在Hadoop1.2.1中,我想对以下这些问题有一些基本的了解谁接收hadoop作业?是NameNode还是JobTracker?如果有人在NameNode宕机时提交Hadoop作业会发生什么情况?hadoop作业会失败吗?还是进入Hold状态?如果有人在JobTracker宕机时提交Hadoop作业,会发生什么情况?hadoop作业是否失败?还是进入Hold状态? 最佳答案 对于Hadoop作业,您可能指的是MapReduce作业。如果您的NN出现故障,并且您没有备用的(在HA设置中),您的HDFS将无法工作,并且依赖于此HDFS