草庐IT

datanode-namenode

全部标签

hadoop - datanode Hadoop 2.7.3 单节点报错(伪分布式)

我是hadoop的新手,我已经回答了我之前的问题,但是评论部分太短了,我无法显示我的日志文件。Thisismypreviousquestion.谁能帮我找出这个日志文件中的错误?我将不胜感激。谢谢。STARTUP_MSG:build=https://git-wip-us.apache.org/repos/asf/hadoop.git-rbaa91f7c6bc9cb92be5982de4719c1c8af91ccff;compiledby'root'on2016-08-18T01:41ZSTARTUP_MSG:java=1.8.0_121*************************

hadoop - NameNode如何识别特定文件复制是设置值,而不是配置的复制3?

hdfs-site.xml:dfs.replication值配置3假设我将特定文件的复制设置为2:./bin/hadoopdfs-setrep-w2/path/to/file.txt当NameNode收到来自DataNode的心跳时,NameNode是否会认为是指定文件path/to/file.txt是否正在根据配置的复制进行复制?如果不是,会怎样? 最佳答案 首先,为了清楚起见,我想尝试重述您的问题,以确保我理解:NameNode是否会将手动设置为低于默认值(dfs.replication)的复制因子的文件视为复制不足?没有。Na

windows - NameNode:无法在 Windows 7 中启动名称节点

我正在尝试在Windows机器上安装Hadoop,中间出现以下错误。日志17/11/2816:31:48ERRORnamenode.NameNode:Failedtostartnamenode.java.lang.UnsatisfiedLinkError:org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Zatorg.apache.hadoop.io.nativeio.NativeIO$Windows.access0(NativeMethod)atorg.apache.hadoop.io

hadoop - 为 hdfs namenode 禁用 Web UI

是否有禁用HDFSHTTP命令的配置?在没有Kerberos的情况下,我试图禁用对HDFS中文件的HTTP访问。 最佳答案 WebHDFS应该默认被禁用。您可以通过在之间添加以下内容来修改hdfs-site.xml来禁用WebHDFS和标签。dfs.webhdfs.enabledtrueEnableordisablewebhdfs.Defaultstofalse 关于hadoop-为hdfsnamenode禁用WebUI,我们在StackOverflow上找到一个类似的问题:

hadoop - 如何在不丢失数据的情况下从hadoop集群中删除datanode

我想从我的hadoop集群中删除数据节点,但又不想丢失我的数据。是否有任何技术可以将我要删除的节点上的数据复制到扩孔数据节点? 最佳答案 您的hadoop集群的复制因子是多少?如果是默认的,一般是3,你可以直接删除datanode,因为数据会自动复制。这个过程一般由名称节点控制。如果你把集群的复制因子改成1,那么如果你删除这个节点,里面的数据就会丢失。您无法进一步复制它。 关于hadoop-如何在不丢失数据的情况下从hadoop集群中删除datanode,我们在StackOverflow

java - Spring Boot YARN 不运行在 Hadoop 2.8.0 客户端无法访问 DataNode

我正在尝试运行SpringBootYARN示例(Windows上为https://spring.io/guides/gs/yarn-basic/)。在application.yml中,我更改了fsUri和resourceManagerHost以指向我的VM主机192.168...。但是当我尝试运行应用程序时,Exceprion出现了:DFSClient:ExceptionincreateBlockOutputStreamjava.net.ConnectException:Connectiontimedout:nofurtherinformationatsun.nio.ch.Socket

ubuntu - java.io.IOException : All directories in dfs. datanode.data.dir 无效

我试图让hadoop和hive在我的linux系统上本地运行,但是当我运行jps时,我注意到数据节点服务丢失了:vaughn@vaughn-notebook:/usr/local/hadoop$jps2209NameNode2682ResourceManager3084Jps2510SecondaryNameNode如果我运行bin/hadoopdatanode,会出现以下错误:17/07/1319:40:14INFOdatanode.DataNode:registeredUNIXsignalhandlersfor[TERM,HUP,INT]17/07/1319:40:14WARNut

java - 错误 : Could not find or load main class org. apache.hadoop.hdfs.server.datanode.DataNode

我是apachehadoop的新手。我正在安装多节点集群,但出现两个错误。我不知道这些是什么类型的错误以及它们产生的原因。我在谷歌上搜索了很多关于这些错误的信息,但我无法找出错误产生背后的原因。Error:Couldnotfindorloadmainclassorg.apache.hadoop.util.PlatformNameError:Couldnotfindorloadmainclassorg.apache.hadoop.hdfs.server.datanode.DataNode这两个错误都是由于datanode或slaves引起的。我需要知道错误的种类、产生的原因以及如何解决它

安装后 Hadoop 格式化 NameNode - 错误 : command not found (UBUNTO)

你好,我刚刚安装了Hadoop,但无法格式化namenode我正在和Ubunto一起工作它应该很简单但是我得到这个错误:“找不到命令”barak@barak-VirtualBox:/usr/local/hadoop/hadoop-common-project/hadoop-common/src/main/bin$ls-ltrtotal76-rwxr-xr-x1rootroot1462223:08stop-all.sh-rw-r--r--1rootroot1770223:08stop-all.cmd-rwxr-xr-x1rootroot1471223:08start-all.sh-rw-

ubuntu - 无法使用 CDH4 : Datanode denied communication with namenode 启动 hdfs 服务

关闭。这个问题是off-topic.它目前不接受答案。想改进这个问题吗?Updatethequestion所以它是on-topic用于堆栈溢出。关闭9年前。ImprovethisquestionUbuntu12.04服务器AMD64有什么建议吗?InitializationfailedforblockpoolBlockpoolBP-1276073141-127.0.1.1-1357815963565(storageidDS-1319948814-127.0.1.1-50010-1357815971500)servicetobpct-server-01/127.0.1.1:8020org