我尝试使用bin/start-all.sh启动名称节点。但是，这个命令不会启动名称节点。我知道如果我执行bin/hadoopnamenode-format，namenode将启动，但在那种情况下，我将丢失所有数据。有没有办法在不格式化的情况下启动namenode？ 最佳答案 您的问题可能与以下问题有关:Hadoop默认将其NameNode数据写入/tmp/hadoop-文件夹，每次重启后都会清除该文件夹。将以下属性添加到conf/hdfs-site.xmldfs.name.dir“dfs.name.dir”属性允许您控制Hadoop

我正在使用HadoopMapReduce范例，我需要获取NameNodeIP来自DataNode的地址，任何人都可以告诉我如何做到这一点吗？谢谢。 最佳答案 最简单的方法是快速打开HADOOP_HOME/conf目录下的core-site.xml文件。fs.default.name属性的值将告诉您运行NN的主机和端口。 关于HadoopNameNodeIP地址，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.

我正在尝试启动名称节点，但它一直显示:启动名称节点失败。java.net.BindException:地址已在使用中；。netstat-a|grep9000返回tcp00:9000*:LISTENtcp600[::]:9000[::]:*LISTEN这是正常的还是我需要终止其中一个进程？名称节点在安装后启动并运行，但在我运行WordCount作业后突然停止工作。我试过多次重启VM并格式化名称节点，但这没有帮助。hdfs-site.xml如下:dfs.replication1dfs.namenode.name.dir文件:///usr/local/hdfs/namenodedfs.dat

我刚刚安装了Hadoop2.6.0，在格式化名称节点时，它在以下行停止并且没有退出代码返回。STARTUP_MSG:build=https://git-wip-us.apache.org/repos/asf/hadoop.git-re3496499ecb8d220fba99dc5ed4c99c8f9e33bb1;compiledby'jenkins'on2014-11-13T21:10ZSTARTUP_MSG:java=1.7.0_79/15/08/2818:45:22INFOnamenode.NameNode:registeredUNIXsignalhandlersfor[TERM,

最近我正在使用S3在ObjectStore上设置我的Hadoop集群，所有数据文件都存储在S3而不是HDFS中，并且我在S3上成功运行了spark和MP，所以我想知道我的名称节点是否仍然需要，如果是的话，当我在S3上运行hadoop应用程序时，我的名称节点会做什么？谢谢。 最佳答案 不，只要您有办法处理S3缺乏交付工作提交者所需的一致性这一事实。每隔一段时间，如果S3的列表不够一致，您的结果将是无效的并且您甚至不会注意到。不同的SparkonAWS供应商以他们自己的方式解决这个问题。如果您使用的是ASFspark，则没有任何捆绑软件

关闭集群./stop-all.sh后，调用hadoopnamenode-format，我看到数据节点具有相同的磁盘空间，即空间尚未释放。这是为什么？ 最佳答案 格式化NameNode前可以手动删除DataNode上的数据rmrUsage:hadoopfs-rmrURI[URI…]删除的递归版本。示例:hadoopfs-rmr/user/hadoop/dirhadoopfs-rmrhdfs://nn.example.com/user/hadoop/dir退出代码:成功返回0，错误返回-1。或者只要名称节点被格式化，数据节点就应该被重新

全部。我用的是hadoop2.6.0。当我强制hadoop离开安全模式时，使用hdfsdfsadmin-safemodeleave，它显示SafemodeisOFF，但我仍然无法删除文件在目录中，结果显示:rm:无法删除/mei/app-20151013055617-0001-614d554c-cc04-4800-9be8-7d9b3fd3fcef。名称节点处于安全模式。我尝试用网上列出的方式解决这个问题，但没有用...我使用命令“hdfsdfsadmin-report”，它显示:SafemodeisONConfiguredCapacity:52710469632(49.09GB)Pr

我在集群设置中使用Hadoop2.2.0，我反复收到以下错误，异常是在文件/opt/dev/hadoop/2.2.0/logs/下的名称节点olympus中产生的hadoop-deploy-secondarynamenode-olympus.log例如2014-02-1216:19:59,013INFOorg.mortbay.log:StartedSelectChannelConnector@olympus:500902014-02-1216:19:59,013INFOorg.apache.hadoop.hdfs.server.namenode.SecondaryNameNode:We

我正在使用HA名称节点配置Hadoop2.2.0稳定版，但我不知道如何配置对集群的远程访问。我配置了手动故障转移的HA名称节点，我定义了dfs.nameservices，我可以从集群中包含的所有节点访问带有名称服务的hdfs，但不能从外部访问。我可以通过直接联系事件名称节点来对hdfs执行操作，但我不想那样，我想联系集群然后被重定向到事件名称节点。我认为这是HA集群的正常配置。现在有人知道怎么做吗？(提前致谢...) 最佳答案 您必须向hdfs站点添加更多值:dfs.ha.namenodes.mynsmachine-98,machi

必须有一种方法可以更改端口50070和50030，以便以下url显示我选择的端口上的集群状态NameNode-http://localhost:50070/JobTracker-http://localhost:50030/ 最佳答案 通过在conf/core-site中为Namenode设置属性dfs.http.address和为Jobtracker设置属性mapred.job.tracker.http.address来定义您的端口选择.xml:dfs.http.address50070mapred.job.tracker.htt