草庐IT

namenodes

全部标签

hadoop - 为什么我无法访问 http ://hadoop-master:50070 when i define dfs. namenode.http-address

Hadoop版本为2.7.1修改hdfs.xml,添加两个属性:dfs.namenode.http-addressHADOOP-MASTER:50070dfs.namenode.secondary.http-addressHADOOP-SLAVE-1:50090然后重启hadoop集群,但是我无法访问http://hadoop-master:50070.namenode进程还活着。和[hadoop@HADOOP-MASTER~]$lsof-i:50070COMMANDPIDUSERFDTYPEDEVICESIZE/OFFNODENAMEjava26541hadoop184uIPv412

hadoop - NameNode 地址的 URI 无效,s3a 不是模式 'hdfs'

根据我的研究,我正在做一些关于在hadoop环境(yarn)中用Ceph替换HDFS的事情,来自hortonworks的指南和ReplaceHDFSformlocaldisktos3gettingerror显示我需要修改$hadoop_home/etc/hadoop下的core-site.xml。我的修改如下:fs.s3a.access.keyxxxxxxxxxxxxxxfs.s3a.secret.keyxxxxxxxxxxxxxfs.default.names3a://bucket_namefs.defaultFSs3a://bucket_namefs.s3a.endpointhtt

java - 运行 bin/hadoop namenode -format 时出现 fatal error

运行bin/hadoopnamenode-format时出现fatalerror使用Windows7操作系统,在C:\cygwin\usr\local\hadoop-0.20.203.0\conf下编辑hadoop-env.sh文件,#exportJAVA_HOME=C:/ProgramFiles/Java/jdk1.6.0_24exportJAVA_HOME=C:/jdk1.6.0_24.我将我的Java类路径设置为C:/jdk1.6.0_24。FatalError]hdfs-site.xml:5:2:Themarkupinthedocumentfollowingtherootele

Hadoop 复制模型 - DataStreamer/Namenode

首先,感谢您阅读我的问题!我目前正在研究Hadoop的复制模型,但我已无路可走。我从“OreillyHadoop权威指南第3版2012年1月”一书中学习。要提出这个问题,我首先需要阅读本书下面的文字。在第73页,有以下内容:“DistributedFileSystem返回一个FSDataOutputStream供客户端Hadoop分布式文件系统开始向其中写入数据。就像读取的情况一样,FSDataOutputStream>包装一个DFSOutputStream,它处理与数据节点和名称节点的通信。当客户端写入数据(第3步)时,DFSOutputStream将其拆分为数据包,并将其写入称为数

python - Hadoop:在 Ubuntu 12.04 中通过 NameNode 格式化 HDFS 文件系统

我正在学习本教程http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/注意:是的,我知道我确实将hadoop安装到/usr/local/hadoop/hadoop/但教程没有当我运行时:hduser@ubuntu:~$/usr/local/hadoop/hadoop/bin/hadoopnamenode-format我明白了Warning:$HADOOP_HOMEisdeprecated./usr/local/hadoop/hadoop/bin/hadoop:li

hadoop - 读操作时的NameNode DataNode通信

所以我正在学习CCDH认证,我在网上找到了一些示例问题,但老实说,我认为它们都不是那么准确,所以我想在这里查看一下。以下哪项最能描述HDFS上的读取操作?一个。客户端向NameNode查询block位置。NameNode返回block位置给客户端。客户端从DataNode读取数据目录。B.客户端并行查询所有DataNode。包含请求的DataNode数据直接响应客户端。客户端直接从DataNode读取数据。C.客户端联系NameNode以获取block位置。然后是NameNode查询数据节点的block位置。DataNodes响应NameNode,NameNode将客户端重定向到保存请

hadoop - Namenode UI - 浏览文件系统在伪分布式模式下不工作

我已经在伪分布式模式下安装了Hadoop0.20.2(所有守护进程都在一台机器上)。它已启动并正在运行,我能够通过命令行访问HDFS并运行作业,我能够看到输出。但是我无法使用Hadoop提供的UI浏览文件系统。http://namenode:50070/dfshealth.jsp..它显示版本和集群状态..当我点击浏览文件系统时,它没有显示任何内容。这有什么问题吗?我能够使用hdfsshell命令列出内容,并且在集群模式下它工作正常。仅在分布式模式下我无法浏览文件系统..对此的任何输入表示赞赏。我也以psudodistributed模式安装了hadoop1.0.0,并面临同样的问题。

Hadoop 安装 : Namenode cannot be started

目前我正在尝试在我的ubuntu14.10(32位utopic)上安装hadoop-2.6.0。我按照这里的说明操作:http://www.itzgeek.com/how-tos/linux/ubuntu-how-tos/install-apache-hadoop-ubuntu-14-10-centos-7-single-node-cluster.html#axzz3X2DuWaxQ但是格式化namenode时,namenode无法启动。这是我在尝试执行hdfs或hadoopnamenode格式时不断收到的信息:15/04/1116:32:13FATALnamenode.NameNod

java - $ bin/hadoop namenode -format STARTUP_MSG : host = java.net.UnknownHostException:

我目前正在通过http://tecadmin.net/steps-to-install-hadoop-on-centosrhel-6/学习Hadoop在第5步,当我应用此命令时$bin/hadoopnamenode-format我收到以下错误我还检查了这些链接以解决我的问题"hadoopnamenode-format"returnsajava.net.UnknownHostExceptionjava.net.UnknownHostException:Invalidhostnameforserver:local我不知道配置文件中的域名在哪里可以用localhost替换它。我还去了/etc

hadoop - Ambari 无法启动 Namenode

我的Ambari服务器有问题,它无法启动Namenode。我正在使用HDP2.0.6、Ambari1.4.1。值得一提的是,一旦我启用了Kerberos安全性,就会发生这种情况,我的意思是,当它被禁用时,没有错误。错误是:2015-02-0416:01:48,680ERRORnamenode.EditLogInputStream(EditLogFileInputStream.java:nextOpImpl(173))-caughtexceptioninitializinghttp://int-iot-hadoop-fe-02.novalocal:8480/getJournal?jid=