我是Hadoop的新手。遵循手册http://toodey.com/2015/08/10/hadoop-installation-on-windows-without-cygwin-in-10-mints/运行我的hadoop我得到了3个错误:1)致命的datanode.DataNode:secureMain中的异常java.lang.RuntimeException:运行命令获取文件权限时出错:ExitCodeExceptionexitCode=-1073741515:2)FATALnodemanager.NodeManager:启动NodeManager时出错java.lang.U
我在HA集群中使用hadoopapache2.7.1。我需要更新两个名称节点的堆内存，所以我更新了hadoop-env.sh中的属性HADOOP_NAMENODE_OPTS为8gbexportHADOOP_NAMENODE_OPTS="-Xmx8192m$HADOOP_NAMENODE_OPTS"所以我的名称节点中的堆大小现在是8GB但是我在hadoop-env.sh中实现了参数HADOOP_HEAPSIZE我没有给它任何值(value)将HADOOP_NAMENODE_OPTS设置为8GB是否足够，还是我们也应该将HADOOP_HEAPSIZE设置为8GB？我的意思是HADOOP_N
我是hadoop新手，我尝试在我的vm中安装hadoop3.0，在我配置hadoop之后，然后尝试:hdfsnamenode‐format得到输出:2017-12-2600:20:56,255INFOnamenode.NameNode:STARTUP_MSG:/************************************************************STARTUP_MSG:StartingNameNodeSTARTUP_MSG:host=localhost/127.0.0.1STARTUP_MSG:args=[‐format]STARTUP_MSG:ver
我已经拍摄了我的集群的快照。以下是我的发现:SafemodeisONConfiguredCapacity:47430737653760(43.14TB)PresentCapacity:20590420062208(18.73TB)DFSRemaining:19343468953600(17.59TB)DFSUsed:1246951108608(1.13TB)DFSUsed%:6.06%Underreplicatedblocks:2Blockswithcorruptreplicas:0Missingblocks:0-------------------------------------
我在同一个jvm中运行“namenode”和“datanode”，当我尝试写入数据时出现以下异常org.apache.hadoop.hdfs.server.blockmanagement.BlockPlacementPolicy$NotEnoughReplicasException:在org.apache.hadoop.hdfs.server.blockmanagement.BlockPlacementPolicyDefault.chooseRandom(BlockPlacementPolicyDefault.java:836)在org.apache.hadoop.hdfs.serve
我想知道hadoop中Namenode和Datanode使用的具体端口号的通信协议(protocol)。假设，如果我在Namenode中编写以下命令，hdfsdfsadmin-report它将显示实时节点(名称节点和数据节点)的详细信息，有多少数据节点等。我的问题是名称节点和数据节点如何通信？通过哪个端口？我实际上使用上述命令只获得了1个数据节点，而在我的集群中，有8个数据节点。所以，我不确定是否有任何portblockingofnetworking是由这个引起的!!我的防火墙在名称节点和所有数据节点中被禁用。我已经通过返回inactive的sudoufwstatus命令检查了这一点。
由于OutOfMemoryError，我的Cloudera集群HDFSDatanodes反复崩溃:java.lang.OutOfMemoryError:JavaheapspaceDumpingheapto/tmp/hdfs_hdfs-DATANODE-e26e098f77ad7085a5dbf0d369107220_pid18551.hprof...Heapdumpfilecreated[2487730300bytesin16.574secs]##java.lang.OutOfMemoryError:Javaheapspace#-XX:OnOutOfMemoryError="/usr/
我正在尝试检测Hadoop集群中Datanode的驱动器故障。ClouderaManagerAPI没有任何特定的API。CMAPI仅与名称节点或重启服务相关。这里有什么建议吗？非常感谢! 最佳答案 如果您有权访问NameNodeUI，JMX页面将为您提供此信息。如果您直接点击JMX页面，它将是一个JSON格式的页面，可以轻松解析。我们主要使用HortonWorks，很长时间没有接触Cloudera，但我认为它可以以某种方式提供。 关于python-3.x-如果任何Datanode驱动器(
我目前正在为一个内部项目评估Hadoop1.0.2。Hadoop文档是这么说的TheSecondaryNameNodehasbeendeprecated.Instead,considerusingtheCheckpointNodeorBackupNode有关于这三个选项是什么以及它们做什么的信息，但我找不到关于这三个选项中哪一个是推荐的信息在什么情况下。 最佳答案 基本上，检查点节点是二级名称节点的新实现，备份点是名称节点热备份途中的临时版本(此外，它目前可以通过分离读写来提供小的性能提升-读入名称节点，写入备份节点来自Backup
我在安装在windows10上的vmware中的Ubuntu上安装了伪分布式独立hadoop版本。我从网上下载了一个文件，复制到ubuntu本地目录/lab/data我在ubuntu中创建了名为namenodep和datan1的namenode和datanode文件夹(不是hadoop文件夹)。我还在hdfs中创建了一个文件夹作为/input。当我将文件从ubuntu本地复制到hdfs时，为什么该文件存在于以下两个目录中？$hadoopfs-copyFromLocal/lab/data/Civil_List_2014.csv/input$hadoopfs-ls/input/input/
