草庐IT

linux安装Hadoop、hbase

被爱情锁住的锁王 2023-04-05 原文

目录

一、创建hadoop用户

(1)首先按 ctrl+alt+t 打开终端窗口，输入如下命令创建新用户 :

 (2)切换账户，使用Hadoop账户登录登录以后需要更新一下apt

 (3)安装好ssh服务

二、安装java

1.下载jdk

2.为jdk创建目录

3.为jdk压缩

4.配置环境

5.键盘i进行编写，在这个文件的开头位置，添加如下几行内容 

 6.让.bashrc文件的配置立即生效

7.使用如下命令查看是否安装成功出现版本号安装成功： 

三、安装hadoop 

1.下载

2.压缩

3.修改目录以及修改目录权限

4.查看安装是否成功

5.测试(跳过）

6.hadoop伪分布式安装

（1）修改core-site.xml文件

（3）执行初始化(只需初始化一次不然namenode后面开启不了）

四、安装hbase 

1.下载

2.压缩

3.修改目录名称以及修改权限

4.环境配置

5.  添加HBase权限

6查看版本号

7.hbase单机模式的配置

 (9)退出ctrl+z，输入命令行

一、创建hadoop用户

(1)首先按 ctrl+alt+t 打开终端窗口，输入如下命令创建新用户 :

$ sudo useradd –m hadoop –s /bin/bash

接着使用如下命令设置密码，可简单设置为 hadoop

$ sudo passwd hadoop

可为 hadoop 用户增加管理员权限，方便部署，避免一些对新手来说比较棘手的权限问题：

$ sudo adduser hadoop sudo

 (2)切换账户，使用Hadoop账户登录登录以后需要更新一下apt

$sudo apt-get update

使用Ubuntu操作系统中可以用vim编译器来建立文件和修改文件，需要安装一下

$sudo apt-get install vim 

 (3)安装好ssh服务

$sudo apt-get install ssh openssh-server

此时登入需要密码可以通过然后输入yes并通过密码登入

$ssh localhost 

 创建ssh-key，将密钥加入授权，此操作前先退出ssh登录

$exit

$cd ~/.ssh/

$ssh-keygen -t rsa

$cat ./id_rsa.pub  >>  ./authorized_keys      //一直回车

然后即可无密码验证登录了，如下(如果进行了下面操作要记得exit退出要不然下面会出问题）： 

$ssh localhost

二、安装java

1.下载jdk

wget https://repo.huaweicloud.com/java/jdk/8u151-b12/jdk-8u151-linux-x64.tar.gz

2.为jdk创建目录

$cd  /usr/lib

$sudo mkdir jvm      //用来存放jdk

3.为jdk压缩

$ cd ~

$ tar -zxf jdk-8u151-linux-x64.tar.gz -C /usr/lib/jvm

4.配置环境

$vim ~/.bashrc 

5.键盘i进行编写，在这个文件的开头位置，添加如下几行内容 

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_151

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export PATH=${JAVA_HOME}/bin:$PATH

编辑完·esc退出输入：再按wq保存并退出

 6.让.bashrc文件的配置立即生效

$source ~/.bashrc

7.使用如下命令查看是否安装成功出现版本号安装成功： 

$java -version 

三、安装hadoop 

1.下载

wget  https://repo.huaweicloud.com/apache/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz

2.压缩

$ sudo tar -zxf  hadoop-3.1.3.tar.gz -C /usr/local   

3.修改目录以及修改目录权限

$cd /usr/local/

$sudo mv ./hadoop-3.1.3/ ./hadoop            # 将文件夹名改为hadoop

$sudo chown -R hadoop:hadoop ./hadoop        # 修改文件权限

4.查看安装是否成功

$ cd /usr/local/hadoop

$./bin/hadoop version

5.测试(跳过）

6.hadoop伪分布式安装

（1）修改core-site.xml文件

$ cd /usr/local/hadoop

$gedit .//etc/hadoop/core-site.xml

在<configuration></configuration>节点内插入如下内容。

  <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/opt/hadoop/tmp</value>
        <description>location to store temporary files</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>

（2） 修改hdfs-site.xml

$gedit .//etc/hadoop/hdfs-site.xml

 <configuration></configuration>节点内插入如下内容。

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

    <property>

        <name>dfs.namenode.name.dir</name>

        <value>file:/usr/local/hadoop/tmp/dfs/name</value>

    </property>

    <property>

        <name>dfs.datanode.data.dir</name>

       <value>file:/usr/local/hadoop/tmp/dfs/data</value>

    </property>

（3）执行初始化(只需初始化一次不然namenode后面开启不了）

$cd /usr/local/hadoop

$./bin/hdfs namenode -format 

 启动HDFS,出现四个完成

$cd /usr/local/hadoop

$./sbin/start-dfs.sh

$jps

四、安装hbase 

1.下载

 wget https://repo.huaweicloud.com/apache/hbase/2.5.0/hbase-2.5.0-bin.tar.gz

2.压缩

$cd ~

$sudo tar -zxf  hbase-2.5.0-bin.tar.gz -C /usr/local

3.修改目录名称以及修改权限

$cd /usr/local

$sudo mv ./hbase-2.5.0 ./hbase

$sudo chown -R hadoop ./hbase

4.环境配置

$gedit ~/.bashrc

 如果没有引入过PATH请在~/.bashrc文件尾行添加如下内容：

export PATH=$PATH:/usr/local/hbase/bin

 如果已经引入过PATH请在export PATH这行追加/usr/local/hbase/bin

保存然后关闭， 再执行source命令使立即生效

$source ~/.bashrc

5.  添加HBase权限

$cd /usr/local

$sudo chown -R hadoop ./hbase

6查看版本号

$ /usr/local/hbase/bin/hbase version

7.hbase单机模式的配置

（1）修改/usr/local/hbase/conf/hbase-env.sh

$gedit /usr/local/hbase/conf/hbase-env.sh

（2）添加内容如下图，保存并关闭

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_151

export HBASE_MANAGES_ZK=true

 

 （3）修改/usr/local/hbase/conf/hbase-site.xml

$gedit /usr/local/hbase/conf/hbase-site.xml

（4）<configuration></configuration>之间添加

<property>

                <name>hbase.rootdir</name>

                <value>file:///usr/local/hbase/hbase-tmp</value>

</property>

（8）启动HBase（先启动HDFS）

$cd /usr/local/hbase

$bin/start-hbase.sh

$bin/hbase shell

 (9)退出ctrl+z，输入命令行

$bin/stop-hbase.sh

HadooplinuxstyleblockquoteE5hbase$hadoop$linux

有关linux安装Hadoop、hbase的更多相关文章

  1. ruby - 在 64 位 Snow Leopard 上使用 rvm、postgres 9.0、ruby 1.9.2-p136 安装 pg gem 时出现问题 - 2

    我想为Heroku构建一个Rails3应用程序。他们使用Postgres作为他们的数据库，所以我通过MacPorts安装了postgres9.0。现在我需要一个postgresgem并且共识是出于性能原因你想要pggem。但是我对我得到的错误感到非常困惑当我尝试在rvm下通过geminstall安装pg时。我已经非常明确地指定了所有postgres目录的位置可以找到但仍然无法完成安装:$envARCHFLAGS='-archx86_64'geminstallpg--\--with-pg-config=/opt/local/var/db/postgresql90/defaultdb/po

  2. ruby - 完全离线安装RVM - 2

    我打算为ruby​​脚本创建一个安装程序，但我希望能够确保机器安装了RVM。有没有一种方法可以完全离线安装RVM并且不引人注目(通过不引人注目，就像创建一个可以做所有事情的脚本而不是要求用户向他们的bash_profile或bashrc添加一些东西)我不是要脚本本身，只是一个关于如何走这条路的快速指针(如果可能的话)。我们还研究了这个很有帮助的问题:RVM-isthereawayforsimpleofflineinstall?但有点误导，因为答案只向我们展示了如何离线在RVM中安装ruby。我们需要能够离线安装RVM本身，并查看脚本https://raw.github.com/wayn

  3. ruby-on-rails - rails 目前在重启后没有安装 - 2

    我有一个奇怪的问题:我在rvm上安装了ruby​​onrails。一切正常，我可以创建项目。但是在我输入“railsnew”时重新启动后，我有“程序'rails'当前未安装。”。SystemUbuntu12.04ruby-v"1.9.3p194"gemlistactionmailer(3.2.5)actionpack(3.2.5)activemodel(3.2.5)activerecord(3.2.5)activeresource(3.2.5)activesupport(3.2.5)arel(3.0.2)builder(3.0.0)bundler(1.1.4)coffee-rails(

  4. ruby - 如何为 emacs 安装 ruby​​-mode - 2

    我刚刚为fedora安装了emacs。我想用emacs编写ruby。为ruby​​提供代码提示、代码完成类型功能所需的工具、扩展是什么？ 最佳答案 ruby-mode已经包含在Emacs23之后的版本中。不过，它也可以通过ELPA获得。您可能感兴趣的其他一些事情是集成RVM、feature-mode(Cucumber)、rspec-mode、ruby-electric、inf-ruby、rinari(用于Rails)等。这是我当前用于Ruby开发的Emacs配置:https://github.com/citizen428/emacs

  5. ruby-on-rails - 无法在centos上安装therubyracer(V8和GCC出错) - 2

    我正在尝试在我的centos服务器上安装therubyracer，但遇到了麻烦。$geminstalltherubyracerBuildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingtherubyracer:ERROR:Failedtobuildgemnativeextension./usr/local/rvm/rubies/ruby-1.9.3-p125/bin/rubyextconf.rbcheckingformain()in-lpthread...yescheckingforv8.h...no***e

  6. ruby - 通过 RVM (OSX Mountain Lion) 安装 Ruby 2.0.0-p247 时遇到问题 - 2

    我的最终目标是安装当前版本的RubyonRails。我在OSXMountainLion上运行。到目前为止，这是我的过程:已安装的RVM$\curl-Lhttps://get.rvm.io|bash-sstable检查已知(我假设已批准)安装$rvmlistknown我看到当前的稳定版本可用[ruby-]2.0.0[-p247]输入命令安装$rvminstall2.0.0-p247注意:我也试过这些安装命令$rvminstallruby-2.0.0-p247$rvminstallruby=2.0.0-p247我很快就无处可去了。结果:$rvminstall2.0.0-p247Search

  7. ruby - 如何在 Lion 上安装 Xcode 4.6，需要用 RVM 升级 ruby - 2

    我实际上是在尝试使用RVM在我的OSX10.7.5上更新ruby，并在输入以下命令后:rvminstallruby我得到了以下回复:Searchingforbinaryrubies,thismighttakesometime.Checkingrequirementsforosx.Installingrequirementsforosx.Updatingsystem.......Errorrunning'requirements_osx_brew_update_systemruby-2.0.0-p247',pleaseread/Users/username/.rvm/log/138121

  8. ruby - Fast-stemmer 安装问题 - 2

    由于fast-stemmer的问题，我很难安装我想要的任何ruby​​gem。我把我得到的错误放在下面。Buildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingfast-stemmer:ERROR:Failedtobuildgemnativeextension./System/Library/Frameworks/Ruby.framework/Versions/2.0/usr/bin/rubyextconf.rbcreatingMakefilemake"DESTDIR="cleanmake"DESTDIR=

  9. ruby - 安装 Ruby 时遇到问题(无法下载资源 "readline--patch") - 2

    当我尝试安装Ruby时遇到此错误。我试过查看this和this但无济于事➜~brewinstallrubyWarning:YouareusingOSX10.12.Wedonotprovidesupportforthispre-releaseversion.Youmayencounterbuildfailuresorotherbreakages.Pleasecreatepull-requestsinsteadoffilingissues.==>Installingdependenciesforruby:readline,libyaml,makedepend==>Installingrub

  10. ruby - 通过 RVM 安装 Ruby 1.9.2 永远行不通! - 2

    当我执行>rvminstall1.9.2时一切顺利。然后我做>rvmuse1.9.2也很顺利。但是当涉及到ruby​​-v时..sam@sjones:~$rvminstall1.9.2/home/sam/.rvm/rubies/ruby-1.9.2-p136,thismaytakeawhiledependingonyourcpu(s)...ruby-1.9.2-p136-#fetchingruby-1.9.2-p136-#downloadingruby-1.9.2-p136,thismaytakeawhiledependingonyourconnection...%Total%Rece

随机推荐