当使用start-dfs.sh启动最新的(2014年10月)Hadoop时，我们看到:connecttohostlocalhostport22:Connectionrefusedwhenrunning 最佳答案 安装openssh服务器。对于Ubuntu命令是:sudoapt-getinstallopenssh-server在hadoop-env.sh文件中(存在于/etc/hadoop中)添加以下行:exportHADOOP_SSH_OPTS="-p22" 关于Hadoop:连接到主机
这是来自hadoop-datanode-...log的日志:FATALorg.apache.hadoop.hdfs.server.datanode.DataNode:block池初始化失败block池BP-1421227885-192.168.2.14-1371135284949(存储IDDS-30209445-192.168.2.41-50010-1371109358645)服务于/192.168.2.8:8020org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.protocol.Disallowe
我正在运行单节点。NameNode总是在启动集群时开始失败。我收到以下错误。2013-06-2910:37:29,968FATALorg.apache.hadoop.hdfs.server.namenode.NameNode:Exceptioninnamenodejoinorg.apache.hadoop.hdfs.server.common.InconsistentFSStateException:Directory/tmp/hadoop/dfs/nameisinaninconsistentstate:storagedirectorydoesnotexistorisnotaccess
我有一个在配置单元中创建的表test。它由idate分区，经常需要插入分区。这可以将文件留在只有几行的hdfs上。hadoopfs-ls/db/test/idate=1989-04-01Found3items-rwxrwxrwx3deployersupergroup7102015-04-2611:33/db/test/idate=1989-04-01/000000_0-rwxrwxrwx3deployersupergroup7102015-04-2611:33/db/test/idate=1989-04-01/000001_0-rwxrwxrwx3deployersupergroup7
我们在EC2上有一个带有6个区域服务器的小型Hbase集群。最近我们发现其中一个列族中的数据对我们来说真的没有那么有用，因此决定放弃它。这个特定的列族占用了超过50%的磁盘空间。我们更改了表，删除了列族并运行了主要压缩。我们还对“-ROOT-”和“.META”进行了主要压缩。表。但是DFS文件总大小仍然没有减少？我们在这里错过了什么吗？任何帮助/指点将不胜感激。问候。 最佳答案 只是添加另一件事来检查-至少在Hbase0.90.4中，删除表会从HDFS中删除文件，但.logs目录的内容不一定。例如，运行hadoopfs-du/you
我在安装了CYGWIN的Windows中设置了Hadoop1.2.1。我已经启动了sshd服务。还启动了namenode、datanode、mapreduce(jobtracker、tasktracker)。我可以通过以下网址查看namenode、datanode和mapreduce的运行状态。当我尝试通过eclipse连接hadoop时，我能够。虽然我能够从eclipse连接hadoop，但我在打开DFS位置时没有看到任何文件夹。它显示为(0)(引用图片#1，我想没有可用的目录/文件。同样我检查了名称节点存储(引用图片#2)即使我尝试通过CYGWIN终端创建目录(引用图片#4)，我也
在hadoop文档中:testUsage:hadoopfs-test-[defsz]URIOptions:-d:fthepathisadirectory,return0.-e:ifthepathexists,return0.-f:ifthepathisafile,return0.-s:ifthepathisnotempty,return0.-z:ifthefileiszerolength,return0.Example:hadoopfs-test-efilename如果hdfs目录不存在，我想做点什么。-test选项中的每个参数都返回0。如果目录不存在，我该如何输出？drwx-----
从临时目录移动hadoop中的文件时使用以下命令:-[Divya@localhosthadoop]$bin/hadoopdfs-copyFromLocal/tmp/gutenberg/home/Divya/gutenberg如何解决这个错误:-13/07/0314:42:28INFOipc.Client:Retryingconnecttoserver:localhost/127.0.0.1:54310.Alreadytried0time(s);retrypolicyisRetryUpToMaximumCountWithFixedSleep(maxRetries=10,sleepTime
我已按照Apache“单节点设置”说明在单节点上设置dfs.replication。但是后来我按照“ClusterSetup”进行操作，但它没有提到这个属性，所以我不知道这是要在Namenode上设置的属性，还是也/仅在Datanodes上设置的属性..我还读到在数据节点上的dfs.datanode.data.dir中设置多个(逗号分隔)路径将复制所有路径上的数据。所以我的问题是:dfs.replication将对哪个节点产生影响，如果dfs.datanode.data.dir的多个路径是设置，这些额外的独立复制是否仅针对每个数据节点，或者这些是否也以某种方式与dfs.replicat
我在debian/stretch64上有一个vagrantbox我尝试使用文档安装Hadoop3http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.htm当我运行start-dfs.sh时我有这个消息vagrant@stretch:/opt/hadoop$sudosbin/start-dfs.shStartingnamenodeson[localhost]pdsh@stretch:localhost:connect:ConnectionrefusedStartingd
