关闭集群./stop-all.sh后，调用hadoopnamenode-format，我看到数据节点具有相同的磁盘空间，即空间尚未释放。这是为什么？ 最佳答案 格式化NameNode前可以手动删除DataNode上的数据rmrUsage:hadoopfs-rmrURI[URI…]删除的递归版本。示例:hadoopfs-rmr/user/hadoop/dirhadoopfs-rmrhdfs://nn.example.com/user/hadoop/dir退出代码:成功返回0，错误返回-1。或者只要名称节点被格式化，数据节点就应该被重新
全部。我用的是hadoop2.6.0。当我强制hadoop离开安全模式时，使用hdfsdfsadmin-safemodeleave，它显示SafemodeisOFF，但我仍然无法删除文件在目录中，结果显示:rm:无法删除/mei/app-20151013055617-0001-614d554c-cc04-4800-9be8-7d9b3fd3fcef。名称节点处于安全模式。我尝试用网上列出的方式解决这个问题，但没有用...我使用命令“hdfsdfsadmin-report”，它显示:SafemodeisONConfiguredCapacity:52710469632(49.09GB)Pr
我在集群设置中使用Hadoop2.2.0，我反复收到以下错误，异常是在文件/opt/dev/hadoop/2.2.0/logs/下的名称节点olympus中产生的hadoop-deploy-secondarynamenode-olympus.log例如2014-02-1216:19:59,013INFOorg.mortbay.log:StartedSelectChannelConnector@olympus:500902014-02-1216:19:59,013INFOorg.apache.hadoop.hdfs.server.namenode.SecondaryNameNode:We
我正在使用HA名称节点配置Hadoop2.2.0稳定版，但我不知道如何配置对集群的远程访问。我配置了手动故障转移的HA名称节点，我定义了dfs.nameservices，我可以从集群中包含的所有节点访问带有名称服务的hdfs，但不能从外部访问。我可以通过直接联系事件名称节点来对hdfs执行操作，但我不想那样，我想联系集群然后被重定向到事件名称节点。我认为这是HA集群的正常配置。现在有人知道怎么做吗？(提前致谢...) 最佳答案 您必须向hdfs站点添加更多值:dfs.ha.namenodes.mynsmachine-98,machi
必须有一种方法可以更改端口50070和50030，以便以下url显示我选择的端口上的集群状态NameNode-http://localhost:50070/JobTracker-http://localhost:50030/ 最佳答案 通过在conf/core-site中为Namenode设置属性dfs.http.address和为Jobtracker设置属性mapred.job.tracker.http.address来定义您的端口选择.xml:dfs.http.address50070mapred.job.tracker.htt
关于https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithNFS.html有的话:theDataNodesareconfiguredwiththelocationofbothNameNodes,andsendblocklocationinformationandheartbeatstoboth.但是为什么这个信息会被发送到namenode和它的fallbackbrother呢？我认为这些信息已经包含在namenode的fs图像中。名称节点应该知道他把b
我在运行Ubuntu14.04LTS的笔记本电脑上安装了hadoop2.6.0。我通过运行start-all.sh启动了hadoop守护进程。但是当我输入jps时，只有4个正在运行10545SecondaryNameNode10703ResourceManager11568Jps10831NodeManager之前只有datanodeonly没有运行所以我删除了tmp文件夹并重新创建了它。现在namenode和datanode都没有运行。我还检查了50070和50075是否被任何其他进程使用，但没有进程使用它们。tcp00127.0.0.1:90000.0.0.0:*LISTEN100
我在ec2上创建了几个ebs文件系统以与hadoop一起使用。我已经在hadoop环境中设置了JAVE_HOME。但是当我去格式化第一卷时，它会中止并显示以下消息[root@hadoop-node01conf]#sudo-uhdfshadoopnamenode-format13/02/0615:33:22INFOnamenode.NameNode:STARTUP_MSG:/************************************************************STARTUP_MSG:StartingNameNodeSTARTUP_MSG:host=had
有人知道在Hdfs的namenode中每个文件占用多少字节吗？我想估计一个32G内存的namenode可以存储多少个文件。 最佳答案 每个文件或目录或block在名称节点内存中占用大约150个字节。[1]因此，具有32GRAM的名称节点的集群最多可以支持(假设名称节点是瓶颈)大约3800万个文件。(每个文件也将占用一个block，因此每个文件实际上占用300个字节。我还假设3x复制。因此每个文件占用900个字节)然而在实践中，这个数字会少很多，因为所有的32G都不会被名称节点用来保存映射。您可以通过为该机器中的名称节点分配更多堆空间
我是hdfs的新手。我正在编写可以连接远程hadoop集群并将数据写入远程hadoop集群的Java客户端。StringhdfsUrl="hdfs://xxx.xxx.xxx.xxx:8020";FileSystemfs=FileSystem.get(hdfsUrl,conf);这很好用。我的问题是如何处理启用HA的hadoop集群。启用HA的hadoop集群将有两个名称节点——一个事件名称节点和一个备用名称节点。如何在运行时从我的客户端代码中识别事件名称节点。http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.1.1/bk_syst
