hadoop中的端口53210和50070有什么区别？namenode在53210或50070的哪个端口工作？如果nameNode运行在53210那么为什么我们从50070访问namenode信息？ 最佳答案 据我所知，默认情况下名称节点不会在53210上运行任何东西。50070是WebUI，8020是客户端用来与名称节点通信的端口。我认为8020也被数据节点用来向NameNode发送心跳，但我在这里不是100%确定。 关于hadoop-namenode运行端口53210或50070的确
我试过了步骤-Loginintoparticularnode-andexecutethecommandjps结果5144JobTracker4953NameNode5079SecondaryNameNode5216Jps这工作正常，但我知道在节点中查找namenode的任何其他命令 最佳答案 可以使用命令查看Namenode、Datanode和SecondaryNamenode进程的信息:ps-fuhdfs可以使用命令查看ResourceManager、NodeManager进程的信息:ps-fuyarn
在新的hadoop单节点安装之后，我在hadoop-root-datanode-localhost.localdomain.log中得到以下错误2014-06-1823:43:23,594ERRORorg.apache.hadoop.security.UserGroupInformation:PriviledgedActionExceptionas:rootcause:java.net.ConnectException:Calltolocalhost/127.0.0.1:54310failedonconnectionexception:java.net.ConnectException
我无法在hadoopfs-ls/命令上查看我的HDFS中的文件，我认为这是因为名称节点未运行。我已尝试格式化名称节点以及更改核心站点中的端口.xml到不同的值。我的JPS仍然没有列出NameNode。文件如下:1)核心站点.xmlhadoop.tmp.dir/home/hduser/tmpAbaseforothertemporarydirectories.fs.default.namehdfs://localhost:50000Thenameofthedefaultfilesystem.AURIwhoseschemeandauthoritydeterminetheFileSystemi
hadoop中的NameNode不存储block信息。它保存在内存中，并在启动时DataNodes报告block信息。如果我从本地复制一个文件到hdfs，它会被传输到hdfs，因为我可以用“hadoopfs-ls”看到。我想知道Hadoop如何知道哪个文件名对应于哪个block。 最佳答案 NameNode维护一个FileSystemImage，它存储文件->block之间的映射。它还存储一个编辑日志，用于维护对文件系统的任何编辑。Secondarynamenode定期从Namenode读取FileSystemImage和EditL
我已经在SUSE11VM中安装了HDP2.1.1.0。格式化后第一次尝试启动名称节点时收到以下错误:/usr/lib/hadoop-hdfs/bin/../libexec/hdfs-config.sh:Nosuchfileordirectory/usr/lib/hadoop-hdfs/bin/hdfs:line206:exec::notfound请为此提出一些解决方案。仅供引用:我也更新了.bashrc文件中的libexec路径详细信息。仍然遇到同样的问题。 最佳答案 我发现在从HDP2.1存储库安装Hadooprpm时，libex
我最近创建了一个包含五台服务器的集群:掌握节点01节点02节点03节点04为了拥有更多“worker”，我将Nademode添加到/etc/hadoop/slaves中的奴隶列表中。这行得通，master执行了一些mapReduce作业。今天我想从工作列表中删除这个节点(这对它来说太占用CPU资源了)。我想在我的hdfs-site.xml中设置dfs.exclude，但我担心这也是主服务器。有人可以确认执行此操作没有风险吗？谢谢，罗曼。 最佳答案 如果主节点中存储有数据(可能是因为它是一个DataNode)，您基本上会丢失该数据。但
如何格式化HDFS的Namenode？我试过以下命令raj@raj-SVE15115ENB:~$/home/raj/hadoop/bin/hadoopnamenode-格式警告:$HADOOP_HOME已弃用。/home/raj/hadoop/bin/hadoop:第320行:/usr/lib/jvm/java-7-sun/bin/java:没有这样的文件或目录/home/raj/hadoop/bin/hadoop:第390行:/usr/lib/jvm/java-7-sun/bin/java:没有这样的文件或目录为什么会这样？ 最佳答案
我正在尝试使用cygwin在我的Windows机器上配置Hadoop2.5.1。但是每当我尝试运行命令时hdfsnamenode-format出现如下错误Error:Couldnotfindorloadmainclassorg.apache.hadoop.hdfs.server.namenode.NameNode我已将JAVA_HOME设置为H:\cygwin\usr\local\Java在bashrc和hadoop-env.sh中。任何人都可以帮助我，因为我可能会在哪一部分出错？？？ 最佳答案 嘿，我有同样的问题，但是我解决了我遇
对于Hadoop2.6.0中的伪分布模式，是否每次都要格式化namenode。我在家里使用的是hadoop2.6.0，但每次我使用start-dfs.sh和start-yarn.sh时，我都必须格式化我的名称节点。有没有其他方法可以避免这种情况？请给我一些建议来摆脱这个!! 最佳答案 不，即使在伪分布式模式下，您也不必总是格式化NameNode。不建议多次格式化NameNode，除非NameNode丢失元数据信息。原因可能是这样的:告诉NameNode在磁盘上存储其元数据信息的位置的属性是dfs.name.dir(已弃用)或dfs.
