草庐IT

Hadoop DataNode不能启动，不能全部启动

Best-Superman 2023-04-20 原文

目前有三台主机，配置如下：在hadoop102主机上执行启动脚本（自定义脚本或者start-dfs.sh或者start-all.sh）,datanode节点不能正常启动。

第一种情况：

原因：多次 hadoop namenode -format  导致 datanode 的version 里的Cluster-Id 不一致

解决方案：删除hadoop配置文件core-site.xml中指定的缓存数据路径中的数据，然后进行格式化操作。

打开core-site.xml文件，找到缓存路径，

  然后使用命令删除这个文件夹

rm -rf /opt/module/hadoop-3.1.3/data

 这里要删除另外两个主机 同样位置的文件，也就是在另外两个主机在执行一遍这个命令

  然后重新格式化datanode，使用命令：

hadoop namenode -format

最后重新启动hadoop即可

第二种情况：

尝试上述方法依然没有启动其他机器上的datanode节点，

#首先你可以在没有启动datanode上的主机上尝试，单独启动一下datanode，命令如下：
sbin/hadoop-daemon.sh start datenode

#如果启动成功，则是缺少slaves配置问题
    使用命令关闭datanode
    sbin/hadoop-daemon.sh stop datenode
    然后修改slaves配置文件，具体在下文
#如果失败，请查看hdfs、core等配置文件是否正确

   可以查看一下{hadoop文件路径}/etc/hadoop/slaves这个文件，这个文件是集群里所有DataNode的主机名，如果缺少某一个主机名，不能全部启动，将全部要启动datanode的主机名加入即可。

hadoop102
hadoop103
hadoop104

重新执行启动脚本即可。 

DataNodeHadoopxffxff0chdfs

有关Hadoop DataNode不能启动，不能全部启动的更多相关文章

  1. ruby-on-rails - 启动 Rails 服务器时 ImageMagick 的警告 - 2

    最近，当我启动我的Rails服务器时，我收到了一长串警告。虽然它不影响我的应用程序，但我想知道如何解决这些警告。我的估计是imagemagick以某种方式被调用了两次？当我在警告前后检查我的git日志时。我想知道如何解决这个问题。-bcrypt-ruby(3.1.2)-better_errors(1.0.1)+bcrypt(3.1.7)+bcrypt-ruby(3.1.5)-bcrypt(>=3.1.3)+better_errors(1.1.0)bcrypt和imagemagick有关系吗？/Users/rbchris/.rbenv/versions/2.0.0-p247/lib/ru

  2. UE4 源码阅读：从引擎启动到Receive Begin Play - 2

    一、引擎主循环UE版本：4.27一、引擎主循环的位置：Launch.cpp:GuardedMain函数二、、GuardedMain函数执行逻辑：1、EnginePreInit：加载大多数模块int32ErrorLevel=EnginePreInit(CmdLine);PreInit模块加载顺序：模块加载过程：（1）注册模块中定义的UObject，同时为每个类构造一个类默认对象（CDO，记录类的默认状态，作为模板用于子类实例创建）（2）调用模块的StartUpModule方法2、FEngineLoop::Init()1、检查Engine的配置文件找出使用了哪一个GameEngine类（UGame

  3. ruby - 为什么不能使用类IO的实例方法noecho？ - 2

    print"Enteryourpassword:"pass=STDIN.noecho(&:gets)puts"Yourpasswordis#{pass}!"输出:Enteryourpassword:input.rb:2:in`':undefinedmethod`noecho'for#>(NoMethodError) 最佳答案 一开始require'io/console'后来的Ruby1.9.3 关于ruby-为什么不能使用类IO的实例方法noecho？，我们在StackOverflow上

  4. ruby-on-rails - Ruby rand() 不能接受变量？ - 2

    我对此有点困惑。我在RoR项目中的最终目标是从我的数据库中获取单个随机配置文件。我想它应该是这样的:@profile=Profile.find_by_user_id(rand(User.count))它一直抛出错误，因为user_id0不存在，所以我把它的一部分拿出来检查发生了什么:@r=rand(User.count)每次都返回0。发生什么了？我注册了5个假用户和5个相关配置文件来测试这个。如果我将Profile.find_by_user_id(rand(User.count))重写为Profile.find_by_user_id(3)它工作得很好。User.count也在工作。所以

  5. ruby - 为什么我不能从 ruby​​ 中的选定键创建新的散列？ - 2

    这个问题困扰了我一段时间。这不是一件困难的事情，但我不知道为什么没有简单的方法来做到这一点，我敢打赌有但我没有看到。我只想取一个散列，像这样:cars={:bob=>'Pontiac',:fred=>'Chrysler',:lisa=>'Cadillac',:mary=>'Jaguar'}然后做类似的事情cars[:bob,:lisa]得到{:bob=>'Pontiac',:lisa=>'Cadillac'}我这样做了，效果很好:classHashdefpick(*keys)Hash[select{|k,v|keys.include?(k)}]endendruby-1.8.7-p249

  6. ruby-on-rails - 为什么 Rails 可以使用 `if` 作为哈希键但在 Ruby 中不能 - 2

    在纯Rubyirb中，不能输入{if:1}。该语句不会终止，因为irb认为if不是符号，而是if语句的开始。那么为什么Rails可以有before_filter接受if作为参数？该指南的代码如下:classOrderunless也会发生同样的事情。 最佳答案 这是一个irb问题，而不是Ruby。bash=>ruby-e"puts({if:1})"bash=#{:if=>1}您可以改用pry。它将正确读取输入。https://github.com/pry/pry 关于ruby-on-rai

  7. ruby - 使用 Capistrano 启动 sidekiq - 2

    我想用Capistrano启动sidekiq。下面是代码namespace:sidekiqdotask:startdorun"cd#{current_path}&&bundleexecsidekiq-c10-eproduction-Llog/sidekiq.log&"pcapture("psaux|grepsidekiq|awk'{print$2}'|sed-n1p").strip!endend它执行成功但sidekiq仍然没有在服务器上启动。输出:$capsidekiq:starttriggeringloadcallbacks*2014-06-0315:03:01executing`

  8. ruby - 不能将 `each` 的所有或大多数情况替换为 `map` 吗？ - 2

    Enumerable#each和Enumerable#map的区别在于返回的是接收者还是映射后的结果。回到接收者是微不足道的，你通常不需要在each之后继续一个方法链，比如each{...}.another_method(我可能没见过这样的案例。即使你想回到接收者那里，你也可以通过tap来实现)。所以我认为所有或者大部分使用Enumerable#each的情况都可以用Enumerable#map代替。我错了吗？如果我是对的，each的目的是什么？map是否比each慢？编辑:我知道当您对返回值不感兴趣时​​使用each是一种常见的做法。我对这种做法是否存在不感兴趣，但感兴趣的是，除了从

  9. ruby - 为什么我不能将一个 fixnum 除以另一个 fixnum？ - 2

    我目前正在尝试将包含数字82,000的散列counts["email"]除以包含值130万的变量total。当我运行putscounts["email"]/total时，我得到0。为什么我不能对这些进行除法？ 最佳答案 您正在执行除法，尽管不是您预期的那样。在Ruby中有许多不同的整数除法:#Integerdivision:5/4#=>1#Floatingpointdivision:5.fdiv(4)#=>1.25#Rationaldivision:5.quo(4)#=>Rational(5,4)您还可以将其中一个整数转换为Floa

  10. ruby-on-rails - fastercsv 的 Rails 3 服务器启动问题 - 2

    我有一个正在升级到Rails3的Rails2.3.5应用程序。我做了所有我需要做的升级以及当我使用启动Rails服务器时要做的事情railsserver它给了我这个PleaseswitchtoRuby1.9'sstandardCSVlibrary.It'sFasterCSVplussupportforRuby1.9'sm17nencodingengine.我正在使用ruby-1.9.2-p0并安装了fastercsv(1.5.3)gem。在puts语句的帮助下，我能够追踪到错误发生的位置。我发现执行在这一行停止了Bundler.require(:default,Rails.env)if

随机推荐