我在HA集群中使用hadoopapache2.7.1。我需要更新两个名称节点的堆内存，所以我更新了hadoop-env.sh中的属性HADOOP_NAMENODE_OPTS为8gbexportHADOOP_NAMENODE_OPTS="-Xmx8192m$HADOOP_NAMENODE_OPTS"所以我的名称节点中的堆大小现在是8GB但是我在hadoop-env.sh中实现了参数HADOOP_HEAPSIZE我没有给它任何值(value)将HADOOP_NAMENODE_OPTS设置为8GB是否足够，还是我们也应该将HADOOP_HEAPSIZE设置为8GB？我的意思是HADOOP_N
我是hadoop新手，我尝试在我的vm中安装hadoop3.0，在我配置hadoop之后，然后尝试:hdfsnamenode‐format得到输出:2017-12-2600:20:56,255INFOnamenode.NameNode:STARTUP_MSG:/************************************************************STARTUP_MSG:StartingNameNodeSTARTUP_MSG:host=localhost/127.0.0.1STARTUP_MSG:args=[‐format]STARTUP_MSG:ver
我已经拍摄了我的集群的快照。以下是我的发现:SafemodeisONConfiguredCapacity:47430737653760(43.14TB)PresentCapacity:20590420062208(18.73TB)DFSRemaining:19343468953600(17.59TB)DFSUsed:1246951108608(1.13TB)DFSUsed%:6.06%Underreplicatedblocks:2Blockswithcorruptreplicas:0Missingblocks:0-------------------------------------
我想知道hadoop中Namenode和Datanode使用的具体端口号的通信协议(protocol)。假设，如果我在Namenode中编写以下命令，hdfsdfsadmin-report它将显示实时节点(名称节点和数据节点)的详细信息，有多少数据节点等。我的问题是名称节点和数据节点如何通信？通过哪个端口？我实际上使用上述命令只获得了1个数据节点，而在我的集群中，有8个数据节点。所以，我不确定是否有任何portblockingofnetworking是由这个引起的!!我的防火墙在名称节点和所有数据节点中被禁用。我已经通过返回inactive的sudoufwstatus命令检查了这一点。
我目前正在为一个内部项目评估Hadoop1.0.2。Hadoop文档是这么说的TheSecondaryNameNodehasbeendeprecated.Instead,considerusingtheCheckpointNodeorBackupNode有关于这三个选项是什么以及它们做什么的信息，但我找不到关于这三个选项中哪一个是推荐的信息在什么情况下。 最佳答案 基本上，检查点节点是二级名称节点的新实现，备份点是名称节点热备份途中的临时版本(此外，它目前可以通过分离读写来提供小的性能提升-读入名称节点，写入备份节点来自Backup
我刚刚开始从Hadoop:权威指南一书中学习hadoop。我按照伪分发模式下的Hadoop安装教程进行操作。我启用了ssh的无密码登录。在第一次使用之前格式化hdfs文件系统。第一次成功启动。之后，我使用copyFromLocal将一个文本文件复制到HDFS，一切正常。但是如果我重新启动系统并再次启动守护进程并查看webUI，只有YARN成功启动。当我发出stop-dfs.sh命令时，我得到了Stoppingnamenodeson[localhost]localhost:nonamenodetostoplocalhost:stoppingdatanodeStoppingsecondar
当我尝试格式化zookeeper时出现以下错误:FATALha.ZKFailoverController:FencingisnotconfiguredforNameNodeatimpc2361/192.168.10.104:8020.Youmustconfigureafencingmethodbeforeusingautomaticfailover.org.apache.hadoop.ha.BadFencingConfigurationException:NofencerconfiguredforNameNodeatimpc2361/192.168.10.104:8020我该如何解决这
我正在阅读ApacheHadoop文档和cloudera文档中的2个不同内容。基于cloudera，我们应该在高可用性模式下设置namenode，即:通过定义主要和次要namenode，但根据Hadoop文档，这应该由zookeeper自动处理，它应该在可用datanodes中决定namenode。谁能解释一下区别和使用哪一个？ 最佳答案 bydefiningprimaryandsecondarynamenode有一个“辅助名称节点”这样的东西，但它实际上是一个非常不同的东西，因为它不是备用的并且能够变为事件的。没有“对”。Name
我将Windows8与cloudera-quickstart-vm-5.4.2-0虚拟机一起使用。我想在HDFS中放置一个“words.txt”文件。我有一个连接异常。我检查了其他StackOverflow线程/解决方案并尝试了以下操作:我检查了namenode和datanode的状态。似乎namenode在数据节点运行时已死。我重新启动了namenode，但它仍然没有运行。这是显示所有步骤的终端屏幕截图:terminal.png我不知道下一步该怎么做才能解决我遇到的问题。注意:我是Hadoop的新手，所以我不熟悉与之相关的大部分技术术语。非常感谢描述性解决方案。
我已经设置了一个Hadoop高可用性集群，包括3个节点作为主节点(3个日志节点、事件名称节点和备用名称节点，没有辅助名称节点)和3个数据节点。使用命令hadoop-daemon.sh启动journalnodehadoop-daemon.sh启动namenodehadoop-daemon.sh启动zkfc我启动namenode服务并使用命令hadoop-daemon.shstartdatanode我启动datanode服务。问题是当我故意使用命令停止数据节点时一个事件的节点，我认为名称节点不会检测到数据节点的故障! 最佳答案 对于fu
