我试图了解我的Hadoop集群是否有问题。当我转到集群摘要中的WebUI时，它说:ClusterSummaryXXXXXXXfilesanddirectories,XXXXXXblocks=7534776total.HeapSizeis1.95GB/1.95GB(100%)我很担心为什么这个堆大小指标是100%有人可以解释一下名称节点堆大小如何影响集群性能。以及这是否需要修复。 最佳答案 namenodeWebUI显示值如下:ClusterSummary(HeapSizeis/)运行时将这些记录为:totalMemory()Retu

我的hadoop集群HA事件名称节点(host1)突然切换到备用名称节点(host2)。我无法在hadoop日志(在任何服务器中)中找到任何错误来确定根本原因。切换名称节点后，hdfs日志中经常出现以下错误，并且应用程序无法读取HDFS文件。2014-07-1701:58:53,381WARNnamenode.FSNamesystem(FSNamesystem.java:getCorruptFiles(6769))-Getcorruptfileblocksreturnederror:OperationcategoryREADisnotsupportedinstatestandby一旦我

我是hadoop、hdfs的新手..我已经完成了接下来的步骤:我已经在三个名称节点中启动了zookeeper:*vagrant@172:~$zkServer.shstart我可以看到状态:*vagrant@172:~$zkServer.shstatus结果状态:JMXenabledbydefaultUsingconfig:/opt/zookeeper-3.4.6/bin/../conf/zoo.cfgMode:follower用jps命令只出现jps有时也会出现quaroom:*vagrant@172:~$jps2237Jps我也运行下一个命令。*vagrant@172:~$hdfsz

jps命令应该显示IDJPSNameNodeTaskTrackerJobTracker但我只获得了JPS及其ID。其余部分工作正常。4801Jps为方便起见，我尝试发布屏幕截图，但由于我没有10分或类似的积分，所以不允许。如果有其他方法，如果您需要查看屏幕截图来帮助我解决问题，请告诉我。此致。 最佳答案 如果您已经使用sudo启动了hadoop服务，那么您需要使用sudo权限运行JPS。$sudojps 关于hadoop-运行jps命令不显示NameNode或TasktrackerID，

作为开发人员，我如何检查给定Namenode的当前状态，如果它是事件的还是备用的？我已经尝试过getServiceState命令，但它仅适用于具有super用户访问权限的管理员。任何可以从边缘节点运行的命令来获取提供的namemnode的状态？？ 最佳答案 最后，我得到了这个问题的答案。作为开发人员，由于限制，无法执行dfsadmin命令。为了检查名称节点的可用性，我在shellscript中使用了下面的if循环，它起到了作用。它不会准确地告诉您名称节点处于事件状态，但通过循环，您可以轻松地相应地执行所需的程序。ifhdfsdfs-

我的HDFS集群中将有2亿个文件，我们知道每个文件将在NameNode内存中占用150个字节，加上3个block，因此在NN中总共有600个字节。所以我将我的NN内存设置为250GB以很好地处理2亿个文件。我的问题是250GB这么大的内存，会不会对GC造成太大的压力？为NN创建250GB内存是否可行。Cansomeonejustsaysomething,whynobodyanswer?? 最佳答案 理想的名称节点内存大小约为数据元使用的总空间+操作系统+守护进程的大小以及处理相关数据的20-30%空间。您还应该考虑数据进入集群的速率

我知道fsimage在启动时加载到内存中，并且出于性能原因，任何进一步的事务都会添加到编辑日志而不是fsimage。当namenode重启时，内存中的fsimage会被刷新。为了提高效率，secondarynamenode会定期做一个checkpoint来更新fsimage，这样namenode的恢复会更快。这些都很好。但是我不明白的一点是，假设一个文件已经存在并且关于这个文件的信息在内存中的fsimage中。现在我将此文件移动到另一个位置，该位置在编辑日志中更新。现在，当我尝试列出旧文件路径时，它会提示它不存在或其他什么。这是否意味着namenode也会查看编辑日志，这与内存中的fs

我得到了错误Cannotcreatedirectory/home/hadoop/hadoopinfra/hdfs/namenode/current尝试在本地Mac上安装hadoop时。这可能是什么原因？仅供引用，我将我的xml文件放在下面:mapred-site.xml:mapreduce.framework.nameyarnhdfs-site.xml:dfs.replication1dfs.name.dirfile:///home/hadoop/hadoopinfra/hdfs/namenodedfs.data.dirfile:///home/hadoop/hadoopinfra/h

我正在尝试设置一个ClouderaHadoop集群，其中一个主节点包含namenode、secondarynamenode和jobtracker，以及另外两个包含datanode和tasktracker的节点。Cloudera版本为4.6，操作系统为ubuntuprecisex64。此外，此集群是从AWS实例创建的。sshpasswordless也已设置，Java安装Oracle-7。每当我执行sudoservicehadoop-hdfs-namenodestart我得到:2014-05-1405:08:38,023FATALorg.apache.hadoop.hdfs.server.

当我们看到使用jps命令时，我的所有节点都已启动并正在运行，但我仍然无法连接到hdfs文件系统。每当我在HadoopNamenodelocalhost:8020页面上单击Browsethefilesystem时，我得到的错误是ConnectionRefused。我也尝试过格式化并重新启动名称节点，但错误仍然存​​在。谁能帮我解决这个问题。 最佳答案 检查您的所有服务是否都在运行JobTracker、Jps、NameNode。DataNode、TaskTracker通过运行jps命令。尝试一个一个地运行它们:./bin/stop-al