草庐IT

hadoop - HBase 无法在 Mac OSX 上以单节点集群模式启动

coder 2024-01-06 原文

我正在尝试设置个人 HBase 开发环境。我正在运行 hdfs 和 yarn，但无法启动 HBase。

我已经通过运行 start-dfs.sh 和 start-yarn.sh 启动了 hadoop 2.7.1。我已经通过测试 hdfs dfs -mkdir/test 并运行示例中捆绑的示例 MR 作业来验证这些正在运行，我已经在端口 50070 浏览了 HDFS。

我已经在端口 2181 上启动了 zookeeper 3.4.6 并设置了它的 dataDir。我的 zoo.cfg 有:

dataDir=/Users/.../tools/hd/zookeeper_data
clientPort=2181

我在我选择的 dataDir 中观察它的 zookeeper_server.PID 文件，当我运行 jps 时，我看到以下内容:

51074 NodeManager
50743 DataNode
50983 ResourceManager
50856 SecondaryNameNode
57848 QuorumPeerMain
58731 Jps
50653 NameNode

如我所料，上面的 QuorumPeerMain 与 zookeeper_server.PID 中的 PID 匹配。这种预期是否正确？从我目前所做的来看，是否应该在此处显示更多进程？

我安装了 hbase-1.1.2。我配置 hbase-site.xml。我将 hbase.rootDir 设置为 hdfs://localhost:8200/hbase，我的 hdfs 在 localhost:8200 运行。我将 hbase.zookeeper.property.dataDir 设置为我的 zookeeper 的 dataDir，期望它将使用此属性来查找正在运行的 zookeeper 的 PID。这种期望是正确的还是我误解了？ hbase-site.xml 中的配置是:

<property>
<name>hbase.rootdir</name>
<value>hdfs://localhost:8020/hbase</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>Users/.../tools/hd/zookeeper_data</value>
</property>

当我运行 start-hbase.sh 时，我的服务器无法启动。我看到这条日志消息:

2015-09-26 19:32:43,617 ERROR [main] master.HMasterCommandLine: Master exiting

为了调查，我运行了 hbase master start 并获得了更多详细信息:

2015-09-26 19:41:26,403 INFO [Thread-1] server.NIOServerCnxn: Stat 命令输出 2015-09-26 19:41:26,405 INFO [Thread-1] server.NIOServerCnxn: 关闭客户端/127.0.0.1:63334 的套接字连接(没有为客户端建立 session ) 2015-09-26 19:41:26,406 INFO [main] zookeeper.MiniZooKeeperCluster:启动 MiniZooKeeperCluster 并在客户端端口 = 2182 上成功运行“stat” 无法在请求的端口 2181 启动 ZK。ZK 在端口 2182 启动。由于客户端(例如 shell)无法找到此 ZK 仲裁而中止。 2015-09-26 19:41:26,406 错误 [main] master.HMasterCommandLine:Master 退出 java.io.IOException:无法在请求的端口 2181 启动 ZK。ZK 在端口 2182 启动。作为客户端(例如 shell)中止将无法找到此 ZK 仲裁。 在 org.apache.hadoop.hbase.master.HMasterCommandLine.startMaster(HMasterCommandLine.java:214) 在 org.apache.hadoop.hbase.master.HMasterCommandLine.run(HMasterCommandLine.java:139) 在 org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70) 在 org.apache.hadoop.hbase.util.ServerCommandLine.doMain(ServerCommandLine.java:126) 在 org.apache.hadoop.hbase.master.HMaster.main(HMaster.java:2304)

所以我有几个问题:

  1. 我应该在运行 HBase 之前尝试设置一个 zookeeper 吗？
  2. 为什么当我启动了一个 zookeeper 并告诉 HBase 它的 dataDir 在哪里时，HBase 会尝试启动它自己的 zookeeper？
  3. 上面有什么明显的愚蠢/误导吗？

最佳答案

您用来启动 hbase 的脚本 start-hbase.sh 将尝试按顺序启动以下组件:

  • 动物园管理员
  • hbase 大师
  • hbase 区域服务器
  • hbase主备

因此，您可以停止由您启动的 zookeeper(或者)您可以自己单独启动守护进程:

# start hbase master
bin/hbase-daemon.sh --config ${HBASE_CONF_DIR} start master
# start region server
bin/hbase-daemons.sh --config ${HBASE_CONF_DIR} --hosts ${HBASE_CONF_DIR}/regionservers start regionserver

关于hadoop - HBase 无法在 Mac OSX 上以单节点集群模式启动，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/32800913/

hadoopHBasezookeepercodeapache-zookeeper

有关hadoop - HBase 无法在 Mac OSX 上以单节点集群模式启动的更多相关文章

  1. ruby-on-rails - 由于 "wkhtmltopdf"，PDFKIT 显然无法正常工作 - 2

    我在从html页面生成PDF时遇到问题。我正在使用PDFkit。在安装它的过程中，我注意到我需要wkhtmltopdf。所以我也安装了它。我做了PDFkit的文档所说的一切......现在我在尝试加载PDF时遇到了这个错误。这里是错误:commandfailed:"/usr/local/bin/wkhtmltopdf""--margin-right""0.75in""--page-size""Letter""--margin-top""0.75in""--margin-bottom""0.75in""--encoding""UTF-8""--margin-left""0.75in""-

  2. ruby-on-rails - Rails - 子类化模型的设计模式是什么？ - 2

    我有一个模型:classItem项目有一个属性“商店”基于存储的值，我希望Item对象对特定方法具有不同的行为。Rails中是否有针对此的通用设计模式？如果方法中没有大的if-else语句，这是如何干净利落地完成的？ 最佳答案 通常通过Single-TableInheritance. 关于ruby-on-rails-Rails-子类化模型的设计模式是什么？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.co

  3. ruby - 解析 RDFa、微数据等的最佳方式是什么，使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2

    我主要使用Ruby来执行此操作，但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式，例如使用这个yaml文件，它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i

  4. ruby-on-rails - 无法使用 Rails 3.2 创建插件？ - 2

    我对最新版本的Rails有疑问。我创建了一个新应用程序(railsnewMyProject)，但我没有脚本/生成，只有脚本/rails，当我输入ruby./script/railsgeneratepluginmy_plugin"Couldnotfindgeneratorplugin.".你知道如何生成插件模板吗？没有这个命令可以创建插件吗？PS:我正在使用Rails3.2.1和ruby​​1.8.7[universal-darwin11.0] 最佳答案 随着Rails3.2.0的发布，插件生成器已经被移除。查看变更日志here.现在

  5. ruby - 无法运行 Rails 2.x 应用程序 - 2

    我尝试运行2.x应用程序。我使用rvm并为此应用程序设置其他版本的ruby​​:$rvmuseree-1.8.7-head我尝试运行服务器，然后出现很多错误:$script/serverNOTE:Gem.source_indexisdeprecated,useSpecification.Itwillberemovedonorafter2011-11-01.Gem.source_indexcalledfrom/Users/serg/rails_projects_terminal/work_proj/spohelp/config/../vendor/rails/railties/lib/r

  6. ruby - 如何在续集中重新加载表模式？ - 2

    鉴于我有以下迁移:Sequel.migrationdoupdoalter_table:usersdoadd_column:is_admin,:default=>falseend#SequelrunsaDESCRIBEtablestatement,whenthemodelisloaded.#Atthispoint,itdoesnotknowthatusershaveais_adminflag.#Soitfails.@user=User.find(:email=>"admin@fancy-startup.example")@user.is_admin=true@user.save!ende

  7. ruby-on-rails - 无法在centos上安装therubyracer(V8和GCC出错) - 2

    我正在尝试在我的centos服务器上安装therubyracer，但遇到了麻烦。$geminstalltherubyracerBuildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingtherubyracer:ERROR:Failedtobuildgemnativeextension./usr/local/rvm/rubies/ruby-1.9.3-p125/bin/rubyextconf.rbcheckingformain()in-lpthread...yescheckingforv8.h...no***e

  8. ruby - 无法让 RSpec 工作—— 'require' : cannot load such file - 2

    我花了三天的时间用头撞墙，试图弄清楚为什么简单的“rake”不能通过我的规范文件。如果您遇到这种情况:任何文件夹路径中都不要有空格!。严重地。事实上，从现在开始，您命名的任何内容都没有空格。这是我的控制台输出:(在/Users/*****/Desktop/LearningRuby/learn_ruby)$rake/Users/*******/Desktop/LearningRuby/learn_ruby/00_hello/hello_spec.rb:116:in`require':cannotloadsuchfile--hello(LoadError) 最佳

  9. ruby-on-rails - 启动 Rails 服务器时 ImageMagick 的警告 - 2

    最近，当我启动我的Rails服务器时，我收到了一长串警告。虽然它不影响我的应用程序，但我想知道如何解决这些警告。我的估计是imagemagick以某种方式被调用了两次？当我在警告前后检查我的git日志时。我想知道如何解决这个问题。-bcrypt-ruby(3.1.2)-better_errors(1.0.1)+bcrypt(3.1.7)+bcrypt-ruby(3.1.5)-bcrypt(>=3.1.3)+better_errors(1.1.0)bcrypt和imagemagick有关系吗？/Users/rbchris/.rbenv/versions/2.0.0-p247/lib/ru

  10. ruby - 无法覆盖 irb 中的 to_s - 2

    我在pry中定义了一个函数:to_s，但我无法调用它。这个方法去哪里了，怎么调用？pry(main)>defto_spry(main)*'hello'pry(main)*endpry(main)>to_s=>"main"我的ruby版本是2.1.2看了一些答案和搜索后，我认为我得到了正确的答案:这个方法用在什么地方？在irb或pry中定义方法时，会转到Object.instance_methods[1]pry(main)>defto_s[1]pry(main)*'hello'[1]pry(main)*end=>:to_s[2]pry(main)>defhello[2]pry(main)

随机推荐