草庐IT

datanodes

全部标签

hadoop - 如何将DataNode添加到Cloudera hadoop

我正在尝试向我现有的单个数据节点添加一个数据节点。由于我的Unix服务器无法访问Internet,ClouderaManager无法执行安装,因为它会抛出以下错误。是否有其他CLI方法来添加数据节点而不是CM?BEGINyuminfojdkLoadedplugins:product-id,subscription-managerUpdatingRedHatrepositories.http://archive.cloudera.com/cm4/redhat/6/x86_64/cm/4.7.2/repodata/repomd.xml:[Errno14]PYCURLERROR6-"Coul

hadoop - datanode显示死了,如何让它复活

我已将2个数据节点添加到mapred.includeslaves文件中。检查了hadoopdfsadmin-report命令,发现状态如下。可用数据节点:0(总共2个,死2个)如何让他们活过来?请帮帮我。 最佳答案 尝试以下步骤:转到$HADOOP_HOME/bin./hadoop-daemon.sh--config$HADOOP_HOME/conf启动数据节点 关于hadoop-datanode显示死了,如何让它复活,我们在StackOverflow上找到一个类似的问题:

java - 使用Put命令写入HDFS,得到 "Exculding datanode"

当我使用“hadoopfs-putfile1.txt/home”时,出现了这些错误:2014-11-2512:42:27INFO[org.apache.hadoop.conf.Configuration.deprecation]fs.default.nameisdeprecated.Instead,usefs.defaultFS2014-11-2512:45:34INFO[org.apache.hadoop.hdfs.DFSClient]ExceptionincreateBlockOutputStreamjava.net.ConnectException:Connectiontimed

hadoop - Datanode 越来越死 ambari hadoop

我已经使用ambari1.7设置了hadoop集群我遇到了一个奇怪的问题。第一次数据节点启动,但在几分之一秒内自动停止。当我尝试重新启动datanode时,它​​没有启动。请帮我解决这个问题。重启datanode的日志如下2015-01-2617:58:02,233-Errorwhileexecutingcommand'start':Traceback(mostrecentcalllast):File"/usr/lib/python2.6/site-packages/resource_management/libraries/script/script.py",line123,inex

Hadoop Datanode 启动失败,没有运行

我正在尝试在VMWare的Ubuntu14.04中安装Hadoop2.7。但是当我做hadoopdatanode时datanode总是无法启动,我得到这个错误: 最佳答案 此问题是由于DatanodeclusterID与NamenodeClusterID不同,两者应该相同,然后只有datanode将与Namenode通信。格式化后尝试停止服务并启动namenode。 关于HadoopDatanode启动失败,没有运行,我们在StackOverflow上找到一个类似的问题:

hadoop - 当我点击 jps 命令时,namenode datanode 和 sec name node 没有启动

我在Ubuntu中以伪分布式模式使用Hadoop1.2.1,一切正常。但后来我不得不重新启动我的系统。现在,当我在给出start-all.sh后点击jps命令时,我只能看到tasktracker和jobtracker正在运行。谁能告诉我这个问题的可能原因?并指导我解决这个问题?************************************************************/2017-03-1318:41:16,733INFOorg.apache.hadoop.hdfs.server.datanode.DataNode:STARTUP_MSG:/*********

hadoop - 本地主机 : ERROR: Cannot set priority of datanode process 2984

我设置并配置了一个多节点的Hadoop。启动时会出现我的Ubuntu是16.04,Hadoop是3.0.2Startingnamenodeson[master]Startingdatanodeslocalhost:ERROR:Cannotsetpriorityofdatanodeprocess2984Startingsecondarynamenodes[master]master:ERROR:Cannotsetpriorityofsecondarynamenodeprocess31752018-07-1702:19:39,470WARNutil.NativeCodeLoader:Una

java - DataNode 无法连接名称节点 - "org.apache.hadoop.ipc.Client: Retrying connect to server"

我已经部署了一个具有1个名称节点和2个数据节点的Hadoop3.1.2集群。NameNode已UP,secondaryNameNode和ResourceManager也up为MasterNode,但DataNode无法连接NameNode,因此没有显示容量。我一直在尝试找出错误可能是什么,但到目前为止还没有成功。删除了域解析,因为我遇到了奇怪的错误:WARNING:AttemptingtostartallApacheHadoopdaemonsashadoopin10seconds.WARNING:Thisisnotarecommendedproductiondeploymentconf

hadoop - DataNode 无法与 Hadoop 2.2 中的 NameNode 通信

我正在设置一个hadoop2.2集群。我已经成功配置了一个master和一个slave。当我在master上输入start-dfs.sh和start-yarn.sh时,所有守护进程都正确启动。具体来说,master上正在运行以下程序:数据节点节点管理器名称节点资源管理器次要节点在从机上,以下正在运行:数据节点节点管理器当我打开http://master-host:50070时,我看到只有1个“LiveNode”,它指的是master上的数据节点。slave上的数据节点已启动,但无法告诉master它已启动。这是我能找到的唯一错误:从/logs/hadoop-hduser-datanod

hadoop - 如何在Hadoop中设置NameNodes、DataNodes、Mappers和Reducers的数量

我想知道如何设置数量NameNode数据节点映射器reducer在Hadoop的代码/配置中。 最佳答案 Namenode和DataNode数量由您的业务需求决定。您无需通过编程来设置它们。如果您需要可伸缩性,则必须了解HDFS联邦的概念。请参阅此文档page有关联邦的更多详细信息。Inordertoscalethenameservicehorizontally,federationusesmultipleindependentNamenodes/namespaces.TheNamenodesarefederated;theName