我一直在尝试设置hadoop的CDH4安装。我有12台机器，标记为hadoop01-hadoop12，名称节点、作业跟踪器和所有数据节点都已正常启动。我能够查看dfshealth.jsp并看到它找到了所有数据节点。但是，每当我尝试启动辅助名称节点时，它都会出现异常:StartingHadoopsecondarynamenode:[OK]startingsecondarynamenode,loggingto/var/log/hadoop-hdfs/hadoop-hdfs-secondarynamenode-hadoop02.dev.terapeak.com.outExceptionint
当名称节点启动时，它从图像文件fsimage读取HDFS状态，然后应用编辑日志文件中的编辑。如果我没记错的话，Name节点启动就是我们写start-all.sh的时候。因此，在启动期间，我认为它读取fsimage并编辑日志并将它们合并。但它实际上是从哪个文件夹或哪个位置读取这两个内容的？ 最佳答案 在hadoop-1.x中，start-all.sh脚本内部执行两个操作start-dfs.sh和start-mapred.sh。start-dfs.sh将启动hdfs所需的所有守护进程，即:datanode、namenode、second
第一次配置我的hadoopnamenode时，我知道我需要运行bin/hadoopnamenode-format但是第二次运行它，在将数据加载到HDFS之后，将清除所有内容并重新格式化。有没有一种简单的方法可以判断一个名称节点是否已经被格式化？ 最佳答案 你可以检查这个文件store1/名称/当前/版本如果它存在，那么它已经被格式化了。PS:您在生产系统中一生只格式化一次。最好在安装过程中或在紧急恢复时手动进行。 关于hadoop-如何判断hadoopnamenode是否已经格式化？，我
使用HDFS或HFTPURI方案(例如hdfs://namenode/path/to/file)我可以访问HDFS集群而不需要它们的XML配置文件。这在运行shell命令如hdfsdfs-get、hadoopdistcp或从Spark读取文件如sc.hadoopFile()时非常方便，因为我不必将所有相关HDFS集群的xml文件复制和管理到这些代码可能运行的所有节点。这种方法的一个缺点是我必须使用事件NameNode的主机名，否则Hadoop会抛出异常，提示NN处于备用状态。通常的解决方法是尝试一个然后在捕获到任何异常时尝试另一个，或者直接连接到ZooKeeper并使用protobuf
这既是关于javaEOF异常的一般问题，也是Hadoop的EOF异常，它与jar互操作性有关。可以接受关于任一主题的评论和答案。背景我注意到一些线程讨论了一个神秘的异常，它最终是由“readInt”方法引起的。此异常似乎具有一些独立于hadoop的通用含义，但最终是由Hadoopjar的互操作性引起的。就我而言，当我尝试在Java中的hadoop中创建一个新的FileSystem对象时，我得到了它。问题我的问题是:发生了什么以及为什么读取整数会引发EOF异常？这个EOF异常指的是什么"file"，如果两个jar不能互操作，为什么会抛出这样的异常？其次，我还想知道如何修复此错误，以便我可
作为hadoop的初学者，我对命名空间和元数据这两个词感到困惑。这两者之间有什么关系吗？ 最佳答案 根据“Hadoop权威指南”——“NameNode管理文件系统命名空间。它维护文件系统树以及树中所有文件和目录的元数据。”本质上，Namespace就是一个容器。在此上下文中，它表示文件名分组或层次结构。元数据包含文件所有者、权限位、block位置、大小等内容。 关于hadoop-hdfs(namenode)中使用的命名空间和元数据的含义是什么，我们在StackOverflow上找到一个类
“资源管理器”和“hdfsnamenode”是否总是安装在同一台主机上？1)当我想向getnewapplicationid发送http请求(YARNRESTAPI)时我正在使用这个网络uri:http:///ws/v1/cluster/apps/new-application此端口是Resource-ManagerWebUI的http端口，默认值为8088，如img1所示:sourceforimg12)当我想为hdfs命令发送一个http请求(WebHDFSRESTAPI)时，例如getfilestatus我正在使用这个网络uri:http://:/webhdfs/v1/?op=GET
我正在尝试使用hadoop在我的MACOSX10.9.2上完成开发单节点集群设置。我尝试了各种在线教程，最近的是thisone.总结一下我所做的:1)$brewinstallhadoop这在/usr/local/Cellar/hadoop/2.2.0中安装了hadoop2.2.02)配置的环境变量。这是我的.bash_profile的相关部分:###Java_HOMEexportJAVA_HOME="$(/usr/libexec/java_home)"###HADOOPEnvironmentvariablesexportHADOOP_PREFIX="/usr/local/Cellar/
我在LXC容器内的一台机器上有3个DataNode和1个NameNode。与NameNode位于同一节点上的DataNode工作正常，但我没有得到其他2个:InitializationfailedforBlockpoolBP-232943349-10.0.3.112-1417116665984(DatanodeUuidnull)servicetohadoop12.domain.local/10.0.3.112:8022Datanodedeniedcommunicationwithnamenodebecausehostnamecannotberesolved(ip=10.0.3.233,
谁能详分割析一下namenode的内存消耗？或者有什么引用资料吗？网络上找不到资料，谢谢! 最佳答案 我想内存消耗将取决于您的HDFS设置，因此取决于HDFS的整体大小并且与block大小相关。来自HadoopNameNodewiki:UseagoodserverwithlotsofRAM.ThemoreRAMyouhave,thebiggerthefilesystem,orthesmallertheblocksize.来自https://twiki.opensciencegrid.org/bin/view/Documentatio
