草庐IT

Hadoop课程学习——Hadoop的windows环境安装及问题

咖喱要加力 2023-08-21 原文

前言

一、使用步骤

1.jdk下载

2.eclipse下载

3.jdk与eclipse环境配置

4.Hadoop使用

二:问题展示

1.问题一:出现找不到主类(java -version运行正常,hadoop运行出错)

2.问题二:出现点击eclipse.exe不能运行

3.问题三:出现‘-Xmx512m’不是内部或外部指令

总结


前言

关于Hadoop环境配置的过程以及出现的一系列问题解决。

系统:window10

此为本人学习过程,仅供参考。


一、使用步骤

1.jdk下载

本期学习采用jdk1.8.0_251版本,必须保证在1.8版及以上,低版本会出现错误。

jdk1.8.0_251下载链接http://xn--https-bl8js66z7n7i//pan.baidu.com/s/18xDQtQz1MH4WCkrC0QR0yQ%20%E6%8F%90%E5%8F%96%E7%A0%81%EF%BC%9Ao9k6

注意:最好保持默认安装在C盘,不要改地址,否则影响后续操作。该版本jdk包含jre,不用额外添加jre。

2.eclipse下载

2.1eclipse采用win32_x86版,此处不提供

2.2 确保jdk路径正确

打开eclipse文件夹下的eclipse.ini,发现该文件下的jdk的路径与之前安装的路径不符,需要改成之前安装jdk的路径。否则出现问题二的情形。

3.jdk与eclipse环境配置

此电脑——右键进入属性——高级系统设置——环境变量。

注意:在系统变量中进行操作,不是用户变量中。

3.1 添加变量JAVA_HOME,值为jdk安装路径,例如:

如果上述jdk默认安装路径,则在C盘的Progarm Files里面的java文件夹下面。

C:\Progarm Files\Java\jdk1.8.0_251

3.2 添加变量CLASSPATH,值为

.;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\tools.jar

由于上面已经给jdk安装路径定义了变量,此处直接引用即可(引用变量外面需要带上%%),也可以再次输入路径。

注意:该项前面有“.;”,英文标点中的句号和分号。

3.3 为变量path添加下面的两个值,不要覆盖原有值

%JAVA_HOME%\bin

%JAVA_HOME%\jre\bin

3.4 测试

打开命令控制符cmd,在C盘路径下输入命令:

java -version

 显示安装版本,即为成功。

4.Hadoop使用

4.1 hadoop路径

本期采用hadoop2.7.4版,存放路径不能带有中文,也不能带有空格,否则后续Hadoop可能不能识别导致出现错误。

可以放在其他盘下面,C盘太辛苦了。

Hadoop网盘下载链接http://xn--https-bl8js66z7n7i//pan.baidu.com/s/19L8WksN6CNStdhZRaFFnXw%20%20%E6%8F%90%E5%8F%96%E7%A0%81%EF%BC%9Agrb9

4.2 windows环境配置

此电脑——右键进入属性——高级系统设置——环境变量。

注意:在系统变量中进行操作,不是用户变量中。

4.2.1 添加变量HADOOP_HOME,值hadoop的路径,例如:

E:\hadoop\hadoop2.7.4

4.2.2 为path添加下面的值:

%HADOOP_HOME%\bin

此处同样引用Hadoop的路径。

4.3 添加Hadoop.dll文件到系统盘 

将hadoop2.7.5文件夹中bin目录下的hadoop.dll文件放到系统盘C:\Windows\System32 目录中。

4.4 修改hadoop-env.cmd文件内容

hadoop2.7.4文件夹下的etc\hadoop\hadoop-env.cmd文件,进行编辑,原文档部分内容如下:

 此时发现与开始的默认路径不同,需要修改路径,但是这里不能直接使用原jdk所在的路径C:\Progarm Files\Java\jdk1.8.0_251,因为路径不能含有空格,否则Hadoop不能识别。此处需要用简写PROGRA~1代替Progarm Files。

PROGRA~1是 C:\Program Files 目录的dos文件名模式下的缩写 。DOS系统文件夹名,文件名简写的原则是:长于8个字符的文件名和文件夹名,都被简化成前面6个有效字符,后面~1,有重名的就 ~2,~3。

4.5 重启电脑

4.6 测试

打开命令控制符cmd,在Hadoop文件夹路径所在盘下输入命令:

hadoop version

 出现hadoopb版本,即可成功。

二:问题展示

1.问题一:出现找不到主类(java -version运行正常,hadoop运行出错)

 解决方法:修改hadoop2.7.4文件夹下的etc\hadoop\hadoop-env.cmd文件,在该文件的最后一行如下:

set HADOOP_IDENT_STRING=%USERNAME%

修改:“USERNAME”为本机的用户名,并添加'' '',如下

set HADOOP_IDENT_STRING=%“用户名”%

2.问题二:出现点击eclipse.exe不能运行

问题原因: 通过路径找不到jdk,发现这里的jdk的路径和之前不符,要改。

解决方法:见本文档的2.2部分。

3.问题三:出现‘-Xmx512m’不是内部或外部指令

问题原因:JAVA_HOME的路径问题。

解决方法:见本文档的3.4部分,一定要保证jdk安装路径和hadoop-env.cmd文件内容中的JAVA_HOME路径一致


总结

在过程中出现许多问题,求助过同学,求助过老师,非常感谢。

有关Hadoop课程学习——Hadoop的windows环境安装及问题的更多相关文章

  1. ruby - 在 Ruby 程序执行时阻止 Windows 7 PC 进入休眠状态 - 2

    我需要在客户计算机上运行Ruby应用程序。通常需要几天才能完成(复制大备份文件)。问题是如果启用sleep,它会中断应用程序。否则,计算机将持续运行数周,直到我下次访问为止。有什么方法可以防止执行期间休眠并让Windows在执行后休眠吗?欢迎任何疯狂的想法;-) 最佳答案 Here建议使用SetThreadExecutionStateWinAPI函数,使应用程序能够通知系统它正在使用中,从而防止系统在应用程序运行时进入休眠状态或关闭显示。像这样的东西:require'Win32API'ES_AWAYMODE_REQUIRED=0x0

  2. ruby - 在 64 位 Snow Leopard 上使用 rvm、postgres 9.0、ruby 1.9.2-p136 安装 pg gem 时出现问题 - 2

    我想为Heroku构建一个Rails3应用程序。他们使用Postgres作为他们的数据库,所以我通过MacPorts安装了postgres9.0。现在我需要一个postgresgem并且共识是出于性能原因你想要pggem。但是我对我得到的错误感到非常困惑当我尝试在rvm下通过geminstall安装pg时。我已经非常明确地指定了所有postgres目录的位置可以找到但仍然无法完成安装:$envARCHFLAGS='-archx86_64'geminstallpg--\--with-pg-config=/opt/local/var/db/postgresql90/defaultdb/po

  3. ruby - 通过 rvm 升级 ruby​​gems 的问题 - 2

    尝试通过RVM将RubyGems升级到版本1.8.10并出现此错误:$rvmrubygemslatestRemovingoldRubygemsfiles...Installingrubygems-1.8.10forruby-1.9.2-p180...ERROR:Errorrunning'GEM_PATH="/Users/foo/.rvm/gems/ruby-1.9.2-p180:/Users/foo/.rvm/gems/ruby-1.9.2-p180@global:/Users/foo/.rvm/gems/ruby-1.9.2-p180:/Users/foo/.rvm/gems/rub

  4. ruby - 完全离线安装RVM - 2

    我打算为ruby​​脚本创建一个安装程序,但我希望能够确保机器安装了RVM。有没有一种方法可以完全离线安装RVM并且不引人注目(通过不引人注目,就像创建一个可以做所有事情的脚本而不是要求用户向他们的bash_profile或bashrc添加一些东西)我不是要脚本本身,只是一个关于如何走这条路的快速指针(如果可能的话)。我们还研究了这个很有帮助的问题:RVM-isthereawayforsimpleofflineinstall?但有点误导,因为答案只向我们展示了如何离线在RVM中安装ruby。我们需要能够离线安装RVM本身,并查看脚本https://raw.github.com/wayn

  5. ruby-on-rails - rails 目前在重启后没有安装 - 2

    我有一个奇怪的问题:我在rvm上安装了ruby​​onrails。一切正常,我可以创建项目。但是在我输入“railsnew”时重新启动后,我有“程序'rails'当前未安装。”。SystemUbuntu12.04ruby-v"1.9.3p194"gemlistactionmailer(3.2.5)actionpack(3.2.5)activemodel(3.2.5)activerecord(3.2.5)activeresource(3.2.5)activesupport(3.2.5)arel(3.0.2)builder(3.0.0)bundler(1.1.4)coffee-rails(

  6. ruby - 如何为 emacs 安装 ruby​​-mode - 2

    我刚刚为fedora安装了emacs。我想用emacs编写ruby。为ruby​​提供代码提示、代码完成类型功能所需的工具、扩展是什么? 最佳答案 ruby-mode已经包含在Emacs23之后的版本中。不过,它也可以通过ELPA获得。您可能感兴趣的其他一些事情是集成RVM、feature-mode(Cucumber)、rspec-mode、ruby-electric、inf-ruby、rinari(用于Rails)等。这是我当前用于Ruby开发的Emacs配置:https://github.com/citizen428/emacs

  7. ruby-on-rails - 无法在centos上安装therubyracer(V8和GCC出错) - 2

    我正在尝试在我的centos服务器上安装therubyracer,但遇到了麻烦。$geminstalltherubyracerBuildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingtherubyracer:ERROR:Failedtobuildgemnativeextension./usr/local/rvm/rubies/ruby-1.9.3-p125/bin/rubyextconf.rbcheckingformain()in-lpthread...yescheckingforv8.h...no***e

  8. ruby - 通过 RVM (OSX Mountain Lion) 安装 Ruby 2.0.0-p247 时遇到问题 - 2

    我的最终目标是安装当前版本的RubyonRails。我在OSXMountainLion上运行。到目前为止,这是我的过程:已安装的RVM$\curl-Lhttps://get.rvm.io|bash-sstable检查已知(我假设已批准)安装$rvmlistknown我看到当前的稳定版本可用[ruby-]2.0.0[-p247]输入命令安装$rvminstall2.0.0-p247注意:我也试过这些安装命令$rvminstallruby-2.0.0-p247$rvminstallruby=2.0.0-p247我很快就无处可去了。结果:$rvminstall2.0.0-p247Search

  9. ruby - 如何在 Lion 上安装 Xcode 4.6,需要用 RVM 升级 ruby - 2

    我实际上是在尝试使用RVM在我的OSX10.7.5上更新ruby,并在输入以下命令后:rvminstallruby我得到了以下回复:Searchingforbinaryrubies,thismighttakesometime.Checkingrequirementsforosx.Installingrequirementsforosx.Updatingsystem.......Errorrunning'requirements_osx_brew_update_systemruby-2.0.0-p247',pleaseread/Users/username/.rvm/log/138121

  10. ruby - Fast-stemmer 安装问题 - 2

    由于fast-stemmer的问题,我很难安装我想要的任何ruby​​gem。我把我得到的错误放在下面。Buildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingfast-stemmer:ERROR:Failedtobuildgemnativeextension./System/Library/Frameworks/Ruby.framework/Versions/2.0/usr/bin/rubyextconf.rbcreatingMakefilemake"DESTDIR="cleanmake"DESTDIR=

随机推荐