我已经拍摄了我的集群的快照。以下是我的发现:SafemodeisONConfiguredCapacity:47430737653760(43.14TB)PresentCapacity:20590420062208(18.73TB)DFSRemaining:19343468953600(17.59TB)DFSUsed:1246951108608(1.13TB)DFSUsed%:6.06%Underreplicatedblocks:2Blockswithcorruptreplicas:0Missingblocks:0-------------------------------------

我想知道hadoop中Namenode和Datanode使用的具体端口号的通信协议(protocol)。假设，如果我在Namenode中编写以下命令，hdfsdfsadmin-report它将显示实时节点(名称节点和数据节点)的详细信息，有多少数据节点等。我的问题是名称节点和数据节点如何通信？通过哪个端口？我实际上使用上述命令只获得了1个数据节点，而在我的集群中，有8个数据节点。所以，我不确定是否有任何portblockingofnetworking是由这个引起的!!我的防火墙在名称节点和所有数据节点中被禁用。我已经通过返回inactive的sudoufwstatus命令检查了这一点。

我目前正在为一个内部项目评估Hadoop1.0.2。Hadoop文档是这么说的TheSecondaryNameNodehasbeendeprecated.Instead,considerusingtheCheckpointNodeorBackupNode有关于这三个选项是什么以及它们做什么的信息，但我找不到关于这三个选项中哪一个是推荐的信息在什么情况下。 最佳答案 基本上，检查点节点是二级名称节点的新实现，备份点是名称节点热备份途中的临时版本(此外，它目前可以通过分离读写来提供小的性能提升-读入名称节点，写入备份节点来自Backup

我刚刚开始从Hadoop:权威指南一书中学习hadoop。我按照伪分发模式下的Hadoop安装教程进行操作。我启用了ssh的无密码登录。在第一次使用之前格式化hdfs文件系统。第一次成功启动。之后，我使用copyFromLocal将一个文本文件复制到HDFS，一切正常。但是如果我重新启动系统并再次启动守护进程并查看webUI，只有YARN成功启动。当我发出stop-dfs.sh命令时，我得到了Stoppingnamenodeson[localhost]localhost:nonamenodetostoplocalhost:stoppingdatanodeStoppingsecondar

当我尝试格式化zookeeper时出现以下错误:FATALha.ZKFailoverController:FencingisnotconfiguredforNameNodeatimpc2361/192.168.10.104:8020.Youmustconfigureafencingmethodbeforeusingautomaticfailover.org.apache.hadoop.ha.BadFencingConfigurationException:NofencerconfiguredforNameNodeatimpc2361/192.168.10.104:8020我该如何解决这

我正在阅读ApacheHadoop文档和cloudera文档中的2个不同内容。基于cloudera，我们应该在高可用性模式下设置namenode，即:通过定义主要和次要namenode，但根据Hadoop文档，这应该由zookeeper自动处理，它应该在可用datanodes中决定namenode。谁能解释一下区别和使用哪一个？ 最佳答案 bydefiningprimaryandsecondarynamenode有一个“辅助名称节点”这样的东西，但它实际上是一个非常不同的东西，因为它不是备用的并且能够变为事件的。没有“对”。Name

我将Windows8与cloudera-quickstart-vm-5.4.2-0虚拟机一起使用。我想在HDFS中放置一个“words.txt”文件。我有一个连接异常。我检查了其他StackOverflow线程/解决方案并尝试了以下操作:我检查了namenode和datanode的状态。似乎namenode在数据节点运行时已死。我重新启动了namenode，但它仍然没有运行。这是显示所有步骤的终端屏幕截图:terminal.png我不知道下一步该怎么做才能解决我遇到的问题。注意:我是Hadoop的新手，所以我不熟悉与之相关的大部分技术术语。非常感谢描述性解决方案。

我已经设置了一个Hadoop高可用性集群，包括3个节点作为主节点(3个日志节点、事件名称节点和备用名称节点，没有辅助名称节点)和3个数据节点。使用命令hadoop-daemon.sh启动journalnodehadoop-daemon.sh启动namenodehadoop-daemon.sh启动zkfc我启动namenode服务并使用命令hadoop-daemon.shstartdatanode我启动datanode服务。问题是当我故意使用命令停止数据节点时一个事件的节点，我认为名称节点不会检测到数据节点的故障! 最佳答案 对于fu

我正在创建一个java应用程序，它将读取目录中的文件。现在的问题是如何获取名称节点的状态/状态，因为我收到一条错误消息:org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException):OperationcategoryREADisnotsupportedinstatestandbyatorg.apache.hadoop.hdfs.server.namenode.ha.StandbyState.checkOperation(StandbyState.java:87)atorg.apache.had

作为Hadoop的初学者，我对NameNode和Namespace感到困惑。据我了解，它们都具有相同的功能，它们都包含元数据。它们之间有什么区别吗？ 最佳答案 NameNode是一个包含(存储)命名空间的机器。NameNode的主要职责是存储HDFS命名空间。命名空间是文件和目录的层次结构。这意味着目录树、文件权限以及文件到blockID的映射。在Hadoop2.x中更进一步引入了联邦，尽管其主要目的是解决名称节点中的扩展问题 关于hadoop-NameNode和NameSpace有什么