草庐IT

【Linux】安装hadoop详细步骤

Code.Knight 2024-02-10 原文

.

一.安装JDK

本人的有道原文贴 本人的有道原文贴https://note.youdao.com/s/QXu3e5cW

1.查看安装后的镜像中是否存在Java

java -version

openjdk version "1.8.0_181"
OpenJDK Runtime Environment (build 1.8.0_181-b13)
OpenJDK 64-Bit Server VM (build 25.181-b13, mixed mode)

如果有并且版本前是OpenJDK的话需要卸载，安装Oracle JDK

1.1.卸载OpenJDK

rpm -e --nodeps java-1.8.0-openjdk
rpm -e --nodeps javapackages-tools
rpm -e --nodeps java-1.8.0-openjdk-headless
rpm -e --nodeps tzdata-java

2.安装jdk

mkdir -p /export/server     //创建jdk的安装目录

2.1上传jdk，这里选用的是jdk-8u291版本的，一般jdk版本在1.8以上即可

yum -y install lrzsz    //从Windows上拖动文件到Linux的插件

这里在xshell里先进入jdk的安装目录 /export/server ，再进行文件拖动

2.2解压文件

tar -zxvf jdk-8u291-linux-x64.tar.gz

2.3配置JDK环境变量

vim /etc/profile

//文件末尾加上
export JAVA_HOME=/export/server/jdk1.8.0_291
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

//更新环境变量的配置文
 source /etc/profile

2.4检验Java是否配置成功

java -version

//显示以下内容成功
java version "1.8.0_291"
Java(TM) SE Runtime Environment (build 1.8.0_291-b10)
Java HotSpot(TM) 64-Bit Server VM (build 25.291-b10, mixed mode)

二.安装hadoop

上传Hadoop安装包，同上面上传JDK一样的操作 也是放在 /export/server 目录下

1.解压Hadoop安装包，并设置环境

tar -zxvf hadoop-2.7.4.tar.gz   //解压

vim /etc/profile  //修改环境

//文件末尾加上
export HADOOP_HOME=/export/server/hadoop-2.7.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

//更新环境变量的配置文

 source /etc/profile

//检查安装，出现下面内容表示成功

hadoop version

Hadoop 2.7.4
Subversion https://shv@git-wip-us.apache.org/repos/asf/hadoop.git -r cd915e1e8d9d0131462a0b7301586c175728a282
Compiled by kshvachk on 2017-08-01T00:29Z
Compiled with protoc 2.5.0
From source with checksum 50b0468318b4ce9bd24dc467b7ce1148
This command was run using /export/server/hadoop-2.7.4/share/hadoop/common/hadoop-common-2.7.4.jar

2.修改配置文件

cd /export/server/hadoop-2.7.4/etc/hadoop/     //进入配置文件目录
ll  //查看文件

//检查是否有下列配置文件，没有则安装错误
-rw-r--r--. 1 20415 101  4436 8月   1 2017 capacity-scheduler.xml
-rw-r--r--. 1 20415 101  1335 8月   1 2017 configuration.xsl
-rw-r--r--. 1 20415 101   318 8月   1 2017 container-executor.cfg
-rw-r--r--. 1 20415 101   774 8月   1 2017 core-site.xml
-rw-r--r--. 1 20415 101  3670 8月   1 2017 hadoop-env.cmd
-rw-r--r--. 1 20415 101  4224 8月   1 2017 hadoop-env.sh
-rw-r--r--. 1 20415 101  2598 8月   1 2017 hadoop-metrics2.properties
-rw-r--r--. 1 20415 101  2490 8月   1 2017 hadoop-metrics.properties
-rw-r--r--. 1 20415 101  9683 8月   1 2017 hadoop-policy.xml
-rw-r--r--. 1 20415 101   775 8月   1 2017 hdfs-site.xml
-rw-r--r--. 1 20415 101  1449 8月   1 2017 httpfs-env.sh
-rw-r--r--. 1 20415 101  1657 8月   1 2017 httpfs-log4j.properties
-rw-r--r--. 1 20415 101    21 8月   1 2017 httpfs-signature.secret
-rw-r--r--. 1 20415 101   620 8月   1 2017 httpfs-site.xml
-rw-r--r--. 1 20415 101  3518 8月   1 2017 kms-acls.xml
-rw-r--r--. 1 20415 101  1527 8月   1 2017 kms-env.sh
-rw-r--r--. 1 20415 101  1631 8月   1 2017 kms-log4j.properties
-rw-r--r--. 1 20415 101  5540 8月   1 2017 kms-site.xml
-rw-r--r--. 1 20415 101 11237 8月   1 2017 log4j.properties
-rw-r--r--. 1 20415 101   951 8月   1 2017 mapred-env.cmd
-rw-r--r--. 1 20415 101  1383 8月   1 2017 mapred-env.sh
-rw-r--r--. 1 20415 101  4113 8月   1 2017 mapred-queues.xml.template
-rw-r--r--. 1 20415 101   758 8月   1 2017 mapred-site.xml.template
-rw-r--r--. 1 20415 101    10 8月   1 2017 slaves
-rw-r--r--. 1 20415 101  2316 8月   1 2017 ssl-client.xml.example
-rw-r--r--. 1 20415 101  2697 8月   1 2017 ssl-server.xml.example
-rw-r--r--. 1 20415 101  2250 8月   1 2017 yarn-env.cmd
-rw-r--r--. 1 20415 101  4567 8月   1 2017 yarn-env.sh
-rw-r--r--. 1 20415 101   690 8月   1 2017 yarn-site.xml

2.1修改 hadoop-env.sh 文件

vim hadoop-env.sh

修改以下位置

2.2修改 core-site.xml 文件

注意：hdfs://hadoop1:9000 hadoop1是主机名，自己安装配置的时候要写自己Linux上的主机名。

hostname     //查看自己的主机名
hostnamectl set-hostname 新主机名   //永久修改马上生效（显示时可能不是最新的但其实已经更新了）

vim core-site.xml

//加入以下内容，configuration标签不用重复写

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://hadoop1:9000</value>
        </property>
        
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/export/server/hadoop-2.7.4/tmp</value>
        </property>
</configuration>

2.3修改 hdfs-site.xml 文件

vim hdfs-site.xml

//加入以下内容，configuration标签不用重复写

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
</configuration>

3.初始化文件系统

3.1.初始化名称节点

hdfs namenode -format

最后几行中看见红框内容说明成功了

3.2.文件系统初始化成功,启动hdfs

start-dfs.sh

这里会有三次确定与三次输入密码，密码时登录Linux的密码

3.3启动之后，通过 jps 指令查询所有的java进程

jps

//有以下内容说明启动成功
70164 SecondaryNameNode
69526 NameNode
69883 DataNode
71691 Jps

3.4访问页面

如果你的Linux系统装有图形化界面就打开自带的浏览器输入 http://hadoop1:50070 进行访问 会出现下面的界面
如果你的Linux系统没有图形化界面，则先放行端口，再去window上 访问 http://虚拟机ip:50070 进行访问

hadoopLinuxspanclasstokencentos

有关【Linux】安装hadoop详细步骤的更多相关文章

  1. ruby - 在 64 位 Snow Leopard 上使用 rvm、postgres 9.0、ruby 1.9.2-p136 安装 pg gem 时出现问题 - 2

    我想为Heroku构建一个Rails3应用程序。他们使用Postgres作为他们的数据库，所以我通过MacPorts安装了postgres9.0。现在我需要一个postgresgem并且共识是出于性能原因你想要pggem。但是我对我得到的错误感到非常困惑当我尝试在rvm下通过geminstall安装pg时。我已经非常明确地指定了所有postgres目录的位置可以找到但仍然无法完成安装:$envARCHFLAGS='-archx86_64'geminstallpg--\--with-pg-config=/opt/local/var/db/postgresql90/defaultdb/po

  2. ruby - 完全离线安装RVM - 2

    我打算为ruby​​脚本创建一个安装程序，但我希望能够确保机器安装了RVM。有没有一种方法可以完全离线安装RVM并且不引人注目(通过不引人注目，就像创建一个可以做所有事情的脚本而不是要求用户向他们的bash_profile或bashrc添加一些东西)我不是要脚本本身，只是一个关于如何走这条路的快速指针(如果可能的话)。我们还研究了这个很有帮助的问题:RVM-isthereawayforsimpleofflineinstall?但有点误导，因为答案只向我们展示了如何离线在RVM中安装ruby。我们需要能够离线安装RVM本身，并查看脚本https://raw.github.com/wayn

  3. ruby-on-rails - rails 目前在重启后没有安装 - 2

    我有一个奇怪的问题:我在rvm上安装了ruby​​onrails。一切正常，我可以创建项目。但是在我输入“railsnew”时重新启动后，我有“程序'rails'当前未安装。”。SystemUbuntu12.04ruby-v"1.9.3p194"gemlistactionmailer(3.2.5)actionpack(3.2.5)activemodel(3.2.5)activerecord(3.2.5)activeresource(3.2.5)activesupport(3.2.5)arel(3.0.2)builder(3.0.0)bundler(1.1.4)coffee-rails(

  4. ruby - 如何为 emacs 安装 ruby​​-mode - 2

    我刚刚为fedora安装了emacs。我想用emacs编写ruby。为ruby​​提供代码提示、代码完成类型功能所需的工具、扩展是什么？ 最佳答案 ruby-mode已经包含在Emacs23之后的版本中。不过，它也可以通过ELPA获得。您可能感兴趣的其他一些事情是集成RVM、feature-mode(Cucumber)、rspec-mode、ruby-electric、inf-ruby、rinari(用于Rails)等。这是我当前用于Ruby开发的Emacs配置:https://github.com/citizen428/emacs

  5. ruby-on-rails - 无法在centos上安装therubyracer(V8和GCC出错) - 2

    我正在尝试在我的centos服务器上安装therubyracer，但遇到了麻烦。$geminstalltherubyracerBuildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingtherubyracer:ERROR:Failedtobuildgemnativeextension./usr/local/rvm/rubies/ruby-1.9.3-p125/bin/rubyextconf.rbcheckingformain()in-lpthread...yescheckingforv8.h...no***e

  6. ruby - 通过 RVM (OSX Mountain Lion) 安装 Ruby 2.0.0-p247 时遇到问题 - 2

    我的最终目标是安装当前版本的RubyonRails。我在OSXMountainLion上运行。到目前为止，这是我的过程:已安装的RVM$\curl-Lhttps://get.rvm.io|bash-sstable检查已知(我假设已批准)安装$rvmlistknown我看到当前的稳定版本可用[ruby-]2.0.0[-p247]输入命令安装$rvminstall2.0.0-p247注意:我也试过这些安装命令$rvminstallruby-2.0.0-p247$rvminstallruby=2.0.0-p247我很快就无处可去了。结果:$rvminstall2.0.0-p247Search

  7. ruby - 如何在 Lion 上安装 Xcode 4.6，需要用 RVM 升级 ruby - 2

    我实际上是在尝试使用RVM在我的OSX10.7.5上更新ruby，并在输入以下命令后:rvminstallruby我得到了以下回复:Searchingforbinaryrubies,thismighttakesometime.Checkingrequirementsforosx.Installingrequirementsforosx.Updatingsystem.......Errorrunning'requirements_osx_brew_update_systemruby-2.0.0-p247',pleaseread/Users/username/.rvm/log/138121

  8. ruby - Fast-stemmer 安装问题 - 2

    由于fast-stemmer的问题，我很难安装我想要的任何ruby​​gem。我把我得到的错误放在下面。Buildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingfast-stemmer:ERROR:Failedtobuildgemnativeextension./System/Library/Frameworks/Ruby.framework/Versions/2.0/usr/bin/rubyextconf.rbcreatingMakefilemake"DESTDIR="cleanmake"DESTDIR=

  9. ruby - 安装 Ruby 时遇到问题(无法下载资源 "readline--patch") - 2

    当我尝试安装Ruby时遇到此错误。我试过查看this和this但无济于事➜~brewinstallrubyWarning:YouareusingOSX10.12.Wedonotprovidesupportforthispre-releaseversion.Youmayencounterbuildfailuresorotherbreakages.Pleasecreatepull-requestsinsteadoffilingissues.==>Installingdependenciesforruby:readline,libyaml,makedepend==>Installingrub

  10. ruby - 通过 RVM 安装 Ruby 1.9.2 永远行不通! - 2

    当我执行>rvminstall1.9.2时一切顺利。然后我做>rvmuse1.9.2也很顺利。但是当涉及到ruby​​-v时..sam@sjones:~$rvminstall1.9.2/home/sam/.rvm/rubies/ruby-1.9.2-p136,thismaytakeawhiledependingonyourcpu(s)...ruby-1.9.2-p136-#fetchingruby-1.9.2-p136-#downloadingruby-1.9.2-p136,thismaytakeawhiledependingonyourconnection...%Total%Rece

随机推荐