草庐IT

Windows环境下安装Hadoop3.1.0全过程(超详细手把手一条龙教学)

GCTTTTTT 2023-07-12 原文

文章目录

1、查看是否安装好了Java开发环境

在cmd中输入java -version

若能成功显示java jdk的版本号则代表java环境已安装成功(注意要配置好JAVA_HOME,后面步骤中会用到)

若还未安装或配置Java JDK,可以参考以下链接进行安装:Java JDK安装和配置

2、下载安装Hadoop所需要的文件

3、解压已下载的文件

我的hadoop-3.1.0解压后文件夹的路径为D:\hadoop-3.1.0

4、替换原安装包的bin文件夹


可以发现apache-hadoop-3.1.0-winutils-master这个文件夹解压后里面只有bin这一个文件夹,我们将这个bin文件夹复制到hadoop-3.1.0文件夹中替换原有的bin文件夹

5、配置Hadoop环境变量




在新建系统变量中:变量名填HADOOP_HOME,变量值填hadoop-3.1.0对应的路径(比如我的是D:\hadoop-3.1.0)

顺便可以检查一下JAVA_HOME有没有配置好,后面会用到
然后点击Path变量进行编辑,在最前面加上%HADOOP_HOME%\bin;(记得加分号和别的隔开),配置完后如图所示:

6、检查环境变量是否配置成功

配置好环境变量后,win+R 输入cmd打开命令提示符,然后输入hadoop version,按回车,如果出现如图所示版本号,则说明安装成功

7、配置hadoop的配置文件

进入到\hadoop-3.1.0\etc\hadoop文件夹

1. 配置core-site.xml文件


以记事本或其他文本编辑器打开:

找到文档最后的""标签
填入以下内容:

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://localhost:900</value>
	</property>
</configuration>

注意:最后只有一个configuration标签!可以先去掉原来的configuration标签将以上内容复制粘贴到文档最后;或者将以上内容中configuration标签内的内容复制粘贴到原本文档中的configuration标签中!(最后文档内只能有一个configuration标签,以下几个配置文件也是如此)

2. 配置mapred-site.xml


同样也是在文档末尾添加以下内容:


<configuration>   
	<property>       
	<name>mapreduce.framework.name</name>       
	<value>yarn</value>   
	</property>
</configuration>

如图所示:

3. 配置yarn-site.xml


文档末尾添加以下内容:

<configuration>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<property>
		<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
		<value>org.apache.hadoop.mapred.ShuffleHandler</value>
	</property>
</configuration>

4. 新建namenode文件夹和datanode文件夹

  1. 在D:\hadoop-3.1.0创建data2020文件夹(这个也可以是别的名字,但后面配置要对应修改)
  2. 在data2020文件夹中(D:\hadoop-3.1.0\data2020)创建datanodenamenode文件夹

5. 配置hdfs-site.xml


在文档底部配置如下内容:

<configuration>
	<property>       
	<name>dfs.replication</name>       
	<value>1</value>   
	</property>   
	<property>       
	<name>dfs.namenode.name.dir</name>       
	<value>D:\hadoop-3.1.0\data2020\namenode</value>
	</property>   
	<property>       
	<name>dfs.datanode.data.dir</name>     
	<value>D:\hadoop-3.1.0\data2020\datanode</value>
	</property>
</configuration>

注意两个标签中的地址是刚刚创建的datanode和namenode的对应地址

配置后如图所示:

6、配置hadoop-env.sh

注意!!hadoop-env.sh是.sh文件!有两个“hadoop-env”,一个是cmd文件,一个是sh文件,不要搞混了!
可以右键文件,点击属性,查看该文件的类型:

打开hadoop-env.sh

使用查找功能(ctrl+f)查找export JAVA_HOME,找到相应的位置:

在#export JAVA_HOME=下面一行配置自己电脑上对应的JAVA_HOME/bin路径,注意是以bin结尾的!!
JAVA_HOME的具体路径在环境变量中查找到

7、配置hadoop-env.cmd

注意是.cmd文件!!

.cmd文件无法用记事本打开的话,可以右键用Intellij IDEA打开并编辑

打开后使用查找功能(ctrl+f),输入@rem The java implementation to use查找到对应行

在set JAVA_HOME那一行将自己的JAVA_HOME路径配置上去

到这里配置文件就配置完了,注意每个文件配置完后记得保存!!

8、启动Hadoop服务

在cmd中进入到D:\hadoop-3.1.0\bin路径
或者直接在对应的文件夹里面输入cmd进入


输入hdfs namenode –format命令
如果没报错的话,证明配置文件没出问题!
然后再进入到D:\hadoop-3.1.0\sbin路径

注意,是sbin,不是bin!!



输入start-dfs.cmd命令,会跳出两个窗口,不要关掉它们!

再输入start-yarn.cmd,命令,又会再出现两个窗口,也不要关!

接着在浏览器中访问http://localhost:9870/
如果成功出现以下界面则代表Hadoop安装和配置完成啦!!

有关Windows环境下安装Hadoop3.1.0全过程(超详细手把手一条龙教学)的更多相关文章

  1. ruby - 在 Ruby 程序执行时阻止 Windows 7 PC 进入休眠状态 - 2

    我需要在客户计算机上运行Ruby应用程序。通常需要几天才能完成(复制大备份文件)。问题是如果启用sleep,它会中断应用程序。否则,计算机将持续运行数周,直到我下次访问为止。有什么方法可以防止执行期间休眠并让Windows在执行后休眠吗?欢迎任何疯狂的想法;-) 最佳答案 Here建议使用SetThreadExecutionStateWinAPI函数,使应用程序能够通知系统它正在使用中,从而防止系统在应用程序运行时进入休眠状态或关闭显示。像这样的东西:require'Win32API'ES_AWAYMODE_REQUIRED=0x0

  2. ruby - 在 Windows 机器上使用 Ruby 进行开发是否会适得其反? - 2

    这似乎非常适得其反,因为太多的gem会在window上破裂。我一直在处理很多mysql和ruby​​-mysqlgem问题(gem本身发生段错误,一个名为UnixSocket的类显然在Windows机器上不能正常工作,等等)。我只是在浪费时间吗?我应该转向不同的脚本语言吗? 最佳答案 我在Windows上使用Ruby的经验很少,但是当我开始使用Ruby时,我是在Windows上,我的总体印象是它不是Windows原生系统。因此,在主要使用Windows多年之后,开始使用Ruby促使我切换回原来的系统Unix,这次是Linux。Rub

  3. 电脑0x0000001A蓝屏错误怎么U盘重装系统教学 - 2

      电脑0x0000001A蓝屏错误怎么U盘重装系统教学分享。有用户电脑开机之后遇到了系统蓝屏的情况。系统蓝屏问题很多时候都是系统bug,只有通过重装系统来进行解决。那么蓝屏问题如何通过U盘重装新系统来解决呢?来看看以下的详细操作方法教学吧。  准备工作:  1、U盘一个(尽量使用8G以上的U盘)。  2、一台正常联网可使用的电脑。  3、ghost或ISO系统镜像文件(Win10系统下载_Win10专业版_windows10正式版下载-系统之家)。  4、在本页面下载U盘启动盘制作工具:系统之家U盘启动工具。  U盘启动盘制作步骤:  注意:制作期间,U盘会被格式化,因此U盘中的重要文件请注

  4. Vscode+Cmake配置并运行opencv环境(Windows和Ubuntu大同小异) - 2

    之前在培训新生的时候,windows环境下配置opencv环境一直教的都是网上主流的vsstudio配置属性表,但是这个似乎对新生来说难度略高(虽然个人觉得完全是他们自己的问题),加之暑假之后对cmake实在是爱不释手,且这样配置确实十分简单(其实都不需要配置),故斗胆妄言vscode下配置CV之法。其实极为简单,图比较多所以很长。如果你看此文还配不好,你应该思考一下是不是自己的问题。闲话少说,直接开始。0.CMkae简介有的人到大二了都不知道cmake是什么,我不说是谁。CMake是一个开源免费并且跨平台的构建工具,可以用简单的语句来描述所有平台的编译过程。它能够根据当前所在平台输出对应的m

  5. 深度学习部署:Windows安装pycocotools报错解决方法 - 2

    深度学习部署:Windows安装pycocotools报错解决方法1.pycocotools库的简介2.pycocotools安装的坑3.解决办法更多Ai资讯:公主号AiCharm本系列是作者在跑一些深度学习实例时,遇到的各种各样的问题及解决办法,希望能够帮助到大家。ERROR:Commanderroredoutwithexitstatus1:'D:\Anaconda3\python.exe'-u-c'importsys,setuptools,tokenize;sys.argv[0]='"'"'C:\\Users\\46653\\AppData\\Local\\Temp\\pip-instal

  6. 在VMware16虚拟机安装Ubuntu详细教程 - 2

    在VMware16.2.4安装Ubuntu一、安装VMware1.打开VMwareWorkstationPro官网,点击即可进入。2.进入后向下滑动找到Workstation16ProforWindows,点击立即下载。3.下载完成,文件大小615MB,如下图:4.鼠标右击,以管理员身份运行。5.点击下一步6.勾选条款,点击下一步7.先勾选,再点击下一步8.去掉勾选,点击下一步9.点击下一步10.点击安装11.点击许可证12.在百度上搜索VM16许可证,复制填入,然后点击输入即可,亲测有效。13.点击完成14.重启系统,点击是15.双击VMwareWorkstationPro图标,进入虚拟机主

  7. hadoop安装之保姆级教程(二)之YARN的配置 - 2

    1.1.1 YARN的介绍 为克服Hadoop1.0中HDFS和MapReduce存在的各种问题⽽提出的,针对Hadoop1.0中的MapReduce在扩展性和多框架⽀持⽅⾯的不⾜,提出了全新的资源管理框架YARN. ApacheYARN(YetanotherResourceNegotiator的缩写)是Hadoop集群的资源管理系统,负责为计算程序提供服务器计算资源,相当于⼀个分布式的操作系统平台,⽽MapReduce等计算程序则相当于运⾏于操作系统之上的应⽤程序。 YARN被引⼊Hadoop2,最初是为了改善MapReduce的实现,但是因为具有⾜够的通⽤性,同样可以⽀持其他的分布式计算模

  8. ruby - 如何在 Ruby 中执行 Windows CLI 命令? - 2

    我在目录“C:\DocumentsandSettings\test.exe”中有一个文件,但是当我用单引号编写命令时`C:\DocumentsandSettings\test.exe(我无法在此框中显示),用于在Ruby中执行命令,我无法这样做,我收到的错误是找不到文件或目录。我尝试用“//”和“\”替换“\”,但似乎没有任何效果。我也使用过系统、IO.popen和exec命令,但所有的努力都是徒劳的。exec命令还使程序退出,这是我不想发生的。提前致谢。 最佳答案 反引号环境就像双引号,所以反斜杠用于转义。此外,Ruby会将空格解

  9. ruby - Ruby 中的 block 和过程 - 2

    我已经开始学习Ruby,我已经阅读了一些教程,甚至还买了一本书(“ProgrammingRuby1.9-ThePragmaticProgrammers'Guide”),我遇到了一些以前从未见过的新东西使用我知道的任何其他语言(我是一名PHP网络开发人员)。block和过程。我想我明白它们是什么,但我不明白的是为什么它们如此伟大,以及我应该在何时何地使用它们。我到处都看到他们说block和过程是Ruby中的一个很棒的特性,但我不理解它们。这里有人能给像我这样的Ruby新手一些解释吗? 最佳答案 block有很多好处。电梯演讲:bloc

  10. 100个python算法超详细讲解:画直线 - 2

    1.问题描述使用Python的turtle(海龟绘图)模块提供的函数绘制直线。2.问题分析一幅复杂的图形通常都可以由点、直线、三角形、矩形、平行四边形、圆、椭圆和圆弧等基本图形组成。其中的三角形、矩形、平行四边形又可以由直线组成,而直线又是由两个点确定的。我们使用Python的turtle模块所提供的函数来绘制直线。在使用之前我们先介绍一下turtle模块的相关知识点。turtle模块提供面向对象和面向过程两种形式的海龟绘图基本组件。面向对象的接口类如下:1)TurtleScreen类:定义图形窗口作为绘图海龟的运动场。它的构造器需要一个tkinter.Canvas或ScrolledCanva

随机推荐