我目前正在通过http://tecadmin.net/steps-to-install-hadoop-on-centosrhel-6/学习Hadoop在第5步，当我应用此命令时$bin/hadoopnamenode-format我收到以下错误我还检查了这些链接以解决我的问题"hadoopnamenode-format"returnsajava.net.UnknownHostExceptionjava.net.UnknownHostException:Invalidhostnameforserver:local我不知道配置文件中的域名在哪里可以用localhost替换它。我还去了/etc
我的Ambari服务器有问题，它无法启动Namenode。我正在使用HDP2.0.6、Ambari1.4.1。值得一提的是，一旦我启用了Kerberos安全性，就会发生这种情况，我的意思是，当它被禁用时，没有错误。错误是:2015-02-0416:01:48,680ERRORnamenode.EditLogInputStream(EditLogFileInputStream.java:nextOpImpl(173))-caughtexceptioninitializinghttp://int-iot-hadoop-fe-02.novalocal:8480/getJournal?jid=
我试图了解我的Hadoop集群是否有问题。当我转到集群摘要中的WebUI时，它说:ClusterSummaryXXXXXXXfilesanddirectories,XXXXXXblocks=7534776total.HeapSizeis1.95GB/1.95GB(100%)我很担心为什么这个堆大小指标是100%有人可以解释一下名称节点堆大小如何影响集群性能。以及这是否需要修复。 最佳答案 namenodeWebUI显示值如下:ClusterSummary(HeapSizeis/)运行时将这些记录为:totalMemory()Retu
我正在尝试安装hadoop2.2.0，但在启动dataenode服务时出现以下错误，请帮助我解决此问题。在此先致谢。2014-03-1108:48:16,406信息org.apache.hadoop.hdfs.server.common.Storage:锁定/home/prassanna/usr/local/hadoop/yarn_data/hdfs/datanode/in_use.lock由nodename3627@prassanna-Studio-1558获取2014-03-1108:48:16,426致命org.apache.hadoop.hdfs.server.datanode
我有一个由两台机器组成的Hadoop2.5集群，在从属机器上，数据节点因UnregisteredNodeException而失败。这是主配置:master$jps5036Jps7145DataNode918ResourceManager7338SecondaryNameNode6986NameNode1105NodeManager对于奴隶slave$jps15950Jps26650NodeManager这是来自hadoop-hadoop-datanode-slave.log的完整堆栈跟踪:2014-10-2319:43:46,895WARNorg.apache.hadoop.hdfs.
我的hadoop集群HA事件名称节点(host1)突然切换到备用名称节点(host2)。我无法在hadoop日志(在任何服务器中)中找到任何错误来确定根本原因。切换名称节点后，hdfs日志中经常出现以下错误，并且应用程序无法读取HDFS文件。2014-07-1701:58:53,381WARNnamenode.FSNamesystem(FSNamesystem.java:getCorruptFiles(6769))-Getcorruptfileblocksreturnederror:OperationcategoryREADisnotsupportedinstatestandby一旦我
我是hadoop、hdfs的新手..我已经完成了接下来的步骤:我已经在三个名称节点中启动了zookeeper:*vagrant@172:~$zkServer.shstart我可以看到状态:*vagrant@172:~$zkServer.shstatus结果状态:JMXenabledbydefaultUsingconfig:/opt/zookeeper-3.4.6/bin/../conf/zoo.cfgMode:follower用jps命令只出现jps有时也会出现quaroom:*vagrant@172:~$jps2237Jps我也运行下一个命令。*vagrant@172:~$hdfsz
jps命令应该显示IDJPSNameNodeTaskTrackerJobTracker但我只获得了JPS及其ID。其余部分工作正常。4801Jps为方便起见，我尝试发布屏幕截图，但由于我没有10分或类似的积分，所以不允许。如果有其他方法，如果您需要查看屏幕截图来帮助我解决问题，请告诉我。此致。 最佳答案 如果您已经使用sudo启动了hadoop服务，那么您需要使用sudo权限运行JPS。$sudojps 关于hadoop-运行jps命令不显示NameNode或TasktrackerID，
作为开发人员，我如何检查给定Namenode的当前状态，如果它是事件的还是备用的？我已经尝试过getServiceState命令，但它仅适用于具有super用户访问权限的管理员。任何可以从边缘节点运行的命令来获取提供的namemnode的状态？？ 最佳答案 最后，我得到了这个问题的答案。作为开发人员，由于限制，无法执行dfsadmin命令。为了检查名称节点的可用性，我在shellscript中使用了下面的if循环，它起到了作用。它不会准确地告诉您名称节点处于事件状态，但通过循环，您可以轻松地相应地执行所需的程序。ifhdfsdfs-
我的HDFS集群中将有2亿个文件，我们知道每个文件将在NameNode内存中占用150个字节，加上3个block，因此在NN中总共有600个字节。所以我将我的NN内存设置为250GB以很好地处理2亿个文件。我的问题是250GB这么大的内存，会不会对GC造成太大的压力？为NN创建250GB内存是否可行。Cansomeonejustsaysomething,whynobodyanswer?? 最佳答案 理想的名称节点内存大小约为数据元使用的总空间+操作系统+守护进程的大小以及处理相关数据的20-30%空间。您还应该考虑数据进入集群的速率
