草庐IT

关于 Hadoop:Hadoop – namenode 没有启动

codeneng 2023-03-28 原文

Hadoop - namenode is not starting up

我正在尝试以 root 用户身份运行 hadoop,我在 Hadoop 文件系统运行时执行了 namenode 格式命令 hadoop namenode -format

在此之后,当我尝试启动名称节点服务器时,它显示如下错误

1
2
3
4
5
13/05/23 04:11:37 ERROR namenode.FSNamesystem: FSNamesystem initialization failed.
java.io.IOException: NameNode is not formatted.
        at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:330)
        at org.apache.hadoop.hdfs.server.namenode.FSDirectory.loadFSImage(FSDirectory.java:100)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.initialize(FSNamesystem.java:411)

我试图寻找任何解决方案,但找不到任何明确的解决方案。

有人可以推荐吗?

谢谢。

  • 你盯着你的 HDFS 守护进程了吗?看这里它可能会帮助 blog.abhinavmathur.net/2013/01/...
  • 谢谢Abhinav ..您的链接给了我答案..
  • 为什么要在守护进程运行时格式化 HDFS?
  • 错误地这样做了..之后只有我知道,我不应该那样做..


DFS 需要格式化。停止所有后只需发出以下命令,然后重新启动。

1
hadoop namenode -format

酷,我找到了解决方案。

停止所有正在运行的服务器

1
1) stop-all.sh

编辑文件 /usr/local/hadoop/conf/hdfs-site.xml 并添加以下配置(如果缺少)

1
2
3
4
5
6
7
8
9
10
<property>
    <name>dfs.data.dir</name>
    <value>/app/hadoop/tmp/dfs/name/data</value>
    <final>true</final>
    </property>
    <property>
    <name>dfs.name.dir</name>
    <value>/app/hadoop/tmp/dfs/name</value>
    <final>true</final>
</property>

同时启动 HDFS 和 MapReduce 守护进程

1
2
2) start-dfs.sh
3) start-mapred.sh

然后现在运行其余步骤以运行此链接中给出的 map reduce 示例

注意:如果直接命令未运行,您应该运行命令 bin/start-all.sh

  • 提醒一下,namenode 需要为我格式化。 bin/hadoop namenode -format
  • 对。如果我们遇到任何问题,我们可以使用命令 hadoop namenode -format -force
  • 这样做之后,即使是 DataNode 也不再出现在 JPS 上 :(


namenode 停止时格式化 hdfs。(就像上面的答案一样)。

我添加了更多细节。

FORMAT 命令将检查或创建路径/dfs/name,并对其进行初始化或重新初始化。
然后运行 ??start-dfs.sh 将运行 namenode、datanode,然后是 namesecondary。
当namenode检查不存在路径/dfs/name或未初始化时,会发生致命错误,然后退出。
这就是namenode无法启动的原因。

更多细节你可以查看 HADOOP_COMMON/logs/XXX.namenode.log


确保您为 namenode 指定的目录完全为空。所述目录中的"丢失"文件夹之类的东西会触发此错误。


确保名称(dfs.name.dir)和数据(dfs.data.dir)文件夹的目录在 hdfs-site.xml 中正确列出


首先 mkdir [文件夹],然后设置 hdfs-site.xml 然后格式化


hdfs-site.xml 你的值是错误的。您输入了错误的文件夹,这就是没有启动名称节点的原因。

有关关于 Hadoop:Hadoop – namenode 没有启动的更多相关文章

  1. ruby - 难道Lua没有和Ruby的method_missing相媲美的东西吗? - 2

    我好像记得Lua有类似Ruby的method_missing的东西。还是我记错了? 最佳答案 表的metatable的__index和__newindex可以用于与Ruby的method_missing相同的效果。 关于ruby-难道Lua没有和Ruby的method_missing相媲美的东西吗?,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/questions/7732154/

  2. ruby-on-rails - rails 目前在重启后没有安装 - 2

    我有一个奇怪的问题:我在rvm上安装了ruby​​onrails。一切正常,我可以创建项目。但是在我输入“railsnew”时重新启动后,我有“程序'rails'当前未安装。”。SystemUbuntu12.04ruby-v"1.9.3p194"gemlistactionmailer(3.2.5)actionpack(3.2.5)activemodel(3.2.5)activerecord(3.2.5)activeresource(3.2.5)activesupport(3.2.5)arel(3.0.2)builder(3.0.0)bundler(1.1.4)coffee-rails(

  3. ruby - 在没有 sass 引擎的情况下使用 sass 颜色函数 - 2

    我想在一个没有Sass引擎的类中使用Sass颜色函数。我已经在项目中使用了sassgem,所以我认为搭载会像以下一样简单:classRectangleincludeSass::Script::FunctionsdefcolorSass::Script::Color.new([0x82,0x39,0x06])enddefrender#hamlengineexecutedwithcontextofself#sothatwithintemlateicouldcall#%stop{offset:'0%',stop:{color:lighten(color)}}endend更新:参见上面的#re

  4. ruby-on-rails - 启动 Rails 服务器时 ImageMagick 的警告 - 2

    最近,当我启动我的Rails服务器时,我收到了一长串警告。虽然它不影响我的应用程序,但我想知道如何解决这些警告。我的估计是imagemagick以某种方式被调用了两次?当我在警告前后检查我的git日志时。我想知道如何解决这个问题。-bcrypt-ruby(3.1.2)-better_errors(1.0.1)+bcrypt(3.1.7)+bcrypt-ruby(3.1.5)-bcrypt(>=3.1.3)+better_errors(1.1.0)bcrypt和imagemagick有关系吗?/Users/rbchris/.rbenv/versions/2.0.0-p247/lib/ru

  5. 没有类的 Ruby 方法? - 2

    大家好!我想知道Ruby中未使用语法ClassName.method_name调用的方法是如何工作的。我头脑中的一些是puts、print、gets、chomp。可以在不使用点运算符的情况下调用这些方法。为什么是这样?他们来自哪里?我怎样才能看到这些方法的完整列表? 最佳答案 Kernel中的所有方法都可用于Object类的所有对象或从Object派生的任何类。您可以使用Kernel.instance_methods列出它们。 关于没有类的Ruby方法?,我们在StackOverflow

  6. ruby-on-rails - Rails 3,嵌套资源,没有路由匹配 [PUT] - 2

    我真的为这个而疯狂。我一直在搜索答案并尝试我找到的所有内容,包括相关问题和stackoverflow上的答案,但仍然无法正常工作。我正在使用嵌套资源,但无法使表单正常工作。我总是遇到错误,例如没有路线匹配[PUT]"/galleries/1/photos"表格在这里:/galleries/1/photos/1/edit路线.rbresources:galleriesdoresources:photosendresources:galleriesresources:photos照片Controller.rbdefnew@gallery=Gallery.find(params[:galle

  7. ruby-on-rails - 有没有办法为 CarrierWave/Fog 设置上传进度指示器? - 2

    我在Rails应用程序中使用CarrierWave/Fog将视频上传到AmazonS3。有没有办法判断上传的进度,让我可以显示上传进度如何? 最佳答案 CarrierWave和Fog本身没有这种功能;你需要一个前端uploader来显示进度。当我不得不解决这个问题时,我使用了jQueryfileupload因为我的堆栈中已经有jQuery。甚至还有apostonCarrierWaveintegration因此您只需按照那里的说明操作即可获得适用于您的应用的进度条。 关于ruby-on-r

  8. ruby - 没有类方法获取 Ruby 类名 - 2

    如何在Ruby中获取BasicObject实例的类名?例如,假设我有这个:classMyObjectSystem我怎样才能使这段代码成功?编辑:我发现Object的实例方法class被定义为returnrb_class_real(CLASS_OF(obj));。有什么方法可以从Ruby中使用它? 最佳答案 我花了一些时间研究irb并想出了这个:classBasicObjectdefclassklass=class这将为任何从BasicObject继承的对象提供一个#class您可以调用的方法。编辑评论中要求的进一步解释:假设你有对象

  9. UE4 源码阅读:从引擎启动到Receive Begin Play - 2

    一、引擎主循环UE版本:4.27一、引擎主循环的位置:Launch.cpp:GuardedMain函数二、、GuardedMain函数执行逻辑:1、EnginePreInit:加载大多数模块int32ErrorLevel=EnginePreInit(CmdLine);PreInit模块加载顺序:模块加载过程:(1)注册模块中定义的UObject,同时为每个类构造一个类默认对象(CDO,记录类的默认状态,作为模板用于子类实例创建)(2)调用模块的StartUpModule方法2、FEngineLoop::Init()1、检查Engine的配置文件找出使用了哪一个GameEngine类(UGame

  10. ruby - 没有轨道的 ActiveRecord 时区 - 2

    我在非Rails项目中使用ActiveRecord。在Rails中,我可以这样做:config.time_zone='EasternTime(US&Canada)'config.active_record.default_timezone='EasternTime(US&Canada)'但如果我不使用rails,我该如何设置时区? 最佳答案 ActiveRecord::Base.default_timezone='EasternTime(US&Canada)' 关于ruby-没有轨道的A

随机推荐