草庐IT

Hadoop的eclipse搭建（客观莫划走，留下来看一眼（适用人群学生初学，其他人看看就行））

初之星雨 2023-07-24 原文

前言：Hadoop的eclipse搭建是建立在Hadoop的安装之后进行的，因为Linux上的Hadoop和Windows上的Hadoop版本要求一致，不一致可能会出现某些问题

准备工作：Java的安装包、eclipse的安装包、Hadoop的包（Windows的Hadoop安装包，名字带有‘hadoop-eclips-’字样）

一、Java环境的安装

这一部分可以去看看其他博主的教程，实在是太多了。切记，一定要完成Java环境的安装，使用命令检测java和javac是否正常

二、添加一些系统环境变量

一下均在系统环境变量下新建！！！


JDK环境变量：
变量名：JAVA_HOME		变量值：D:\Java\jdk1.8.0_321  注：自己JDK安装的地址
变量名：CLASSPATH  		变量值：,;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;%JAVA_HOME%lib


Hadoop环境变量：
变量名：HADOOP_HOME       变量值：D:\HadoopWindowsEclipse\hadoop-2.10.2  注：自己Hadoop的地址
变量名：HADOOP_USER_NAME  变量值：root


Path中添加：
%HADOOP_HOME%\bin
%HADOOP_HOME%\sbin
%JAVA_HOME%\bin
,;%HADOOP_HOME%\bin;%HADOOP_HOME%\sbin

三、安装eclipse

1、创建一个文件夹存放Hadoop和eclipse。我本人是在D盘的根目录下建立了一个HadoopWindowsEclipse的文件夹，把Hadoop压缩包和eclipse压缩包都放在这里面。

2、解压eclipse，把Hadoop插件（hadoop-eclipse-plugin-2.10.1.jar）拷贝到D:\HadoopWindowsEclipse\eclipse-java-2020-06-R-win32-x86_64\plugins目录下

四、配置eclipse

1、找到eclipse.exe，创建桌面快捷方式，双击打开eclipse。

2、进去后会选择一个工作区的地址，选好之后不要随意的更换，进去后依次点击Welcome右边的x，然后是Windows，最后选择Preferences

四、安装Hadoop

1、在HadoopWindowsEclipse目录下解压Hadoop-2.10.0.zip

2、进入Hadoop-2.10.0，复制地址回到eclipse。点击Hadoop Map/Reduce把地址复制到Hadoop

 in...:后面的框框里面，点击Apply and Close。

3、回到主页面后点击Windows、选择perspective、选择Open perspective、选择Other,之后就会看见一个窗口，在这个窗口中可以看见Map/Reduce，选中它后点击Open，回到主页面后再主页面的下方可以看到Map/Reduce Locations，可以连接到HDFS上

 

 

 4、点击Map/Reduce Locations页，新建New Hadoop Iocation...，之后就会弹出一个窗口。点击MP下的Host中输入Linux的IP地址或域名（进入C:\Windows\System32\drivers\etc之后编辑hosts，在底部增加虚拟机的ip和域名），L...name中输入项目名称，MP下的Port中输入50020，DFS下的Port中输入9000，点击Finish，回到主页面就会看见左侧出现了一些东西

 

5、如果左侧的窗口不见了，或是不小心点到了根据下图方式找回

初学人群xffxff0cxff0hadoopeclipse大数据

有关Hadoop的eclipse搭建（客观莫划走，留下来看一眼（适用人群学生初学，其他人看看就行））的更多相关文章

  1. ruby - inverse_of 是否适用于 has_many？ - 2

    当我使用has_one时，它​​工作得很好，但在has_many上却不行。在这里您可以看到object_id不同，因为它运行了另一个SQL来再次获取它。ruby-1.9.2-p290:001>e=Employee.create(name:'rafael',active:false)ruby-1.9.2-p290:002>b=Badge.create(number:1,employee:e)ruby-1.9.2-p290:003>a=Address.create(street:"123MarketSt",city:"SanDiego",employee:e)ruby-1.9.2-p290

  2. hadoop安装之保姆级教程（二）之YARN的配置 - 2

    1.1.1 YARN的介绍 为克服Hadoop1.0中HDFS和MapReduce存在的各种问题⽽提出的，针对Hadoop1.0中的MapReduce在扩展性和多框架⽀持⽅⾯的不⾜，提出了全新的资源管理框架YARN. ApacheYARN（YetanotherResourceNegotiator的缩写）是Hadoop集群的资源管理系统，负责为计算程序提供服务器计算资源，相当于⼀个分布式的操作系统平台，⽽MapReduce等计算程序则相当于运⾏于操作系统之上的应⽤程序。 YARN被引⼊Hadoop2,最初是为了改善MapReduce的实现，但是因为具有⾜够的通⽤性，同样可以⽀持其他的分布式计算模

  3. ruby - 易于初学者理解的 Ruby 库 - 2

    关闭。这个问题不符合StackOverflowguidelines.它目前不接受答案。我们不允许提问寻求书籍、工具、软件库等的推荐。您可以编辑问题，以便用事实和引用来回答。关闭3年前。Improvethisquestion我正处于学习Ruby的阶段，我想查看一些小型库的源代码以了解它们是如何构建的。我不知道什么是小型图书馆，但希望SO能推荐一些易于理解的图书馆来学习。因此，如果有人知道一两个非常小的库，这是新手Rubyists学习的好例子，请推荐!我想使用Manveru'sInnatelib，因为它试图保持在2000LOC以下，但我还不熟悉其中经常使用的Ruby速记。也许大约100-5

  4. ruby - 如何使用适用于 ruby​​ 的 aws sdk 创建 route53 记录集？ - 2

    EC2会在实例停止然后重新启动时为其提供新的IP地址，因此我需要能够自动管理route53记录集，以便我可以一致地访问内容。遗憾的是，sdk的route53部分的文档远不如ec2的文档那么健壮(可以理解)，所以我有点卡住了。到目前为止，从我所看到的情况来看，似乎change_resource_record_sets(link)是可行的方法，但我对:chages需要什么感到困惑>因为它提到了一个Change对象，但没有提供指向所述对象描述的链接。这是我的代码目前的样子:r53.client.change_resource_record_sets(:hosted_zone_id=>'MY_

  5. 适用于Web开发的Python还是Ruby？ - 2

    Asitcurrentlystands,thisquestionisnotagoodfitforourQ&Aformat.Weexpectanswerstobesupportedbyfacts,references,orexpertise,butthisquestionwilllikelysolicitdebate,arguments,polling,orextendeddiscussion.Ifyoufeelthatthisquestioncanbeimprovedandpossiblyreopened,visitthehelpcenter提供指导。11年前关闭。我是一位精通HTML

  6. ruby - 从 Ruby 连接到适用于 Windows Phone 8 的 Microsoft 推送通知服务 - 2

    我们正在开发一个需要推送通知的WP8应用程序。为了测试它，我们使用CURL命令行运行推送通知POST请求，确保它实际连接，使用客户端SSL证书进行身份验证并发送正确的数据。我们确实知道，当我们收到对设备的推送时，这项工作是有效的。这是我们一直用于测试目的的CURL命令:curl--certclient_cert.pem-v-H"Content-Type:text/xml"-H"X-WindowsPhone-Target:Toast"-H"X-NotificationClass:2"-XPOST-d"MytitleMysubtitle"https://db3.notify.live.ne

  7. ruby-on-rails - rspec Mongoid 范围适用于开发而不是测试 - 2

    我有一个适用于Rails中的Mongoid对象的作用域，它在开发时效果很好，但在运行测试时效果不佳。它实际上在测试中根本不起作用。这是一个嵌入式文档。父级:classPersonincludeMongoid::Documentdefself.with_appointmentswhere(:appointments.not=>{'$size'=>0})endembeds_many:appointments,store_as:'Appointments',class_name:'Appointment'end嵌入的child:classAppointmentincludeMongoid::

  8. ruby-on-rails - 我应该使用哪个适用于 Ruby 的 CouchDB 适配器？ - 2

    一些我找到的选项是ActiveCouchCouchRESTCouchPotatoRelaxDBcouch_foo我更喜欢GitHub上的项目，因为这让我更容易fork和推送修复。所有这些都符合该要求。我习惯了Rails，所以我喜欢像ActiveRecord模型一样工作的东西。另一方面，我也不希望我和Couch之间太多--毕竟我使用它作为我的数据库是有原因的。最后，它们似乎都得到了相当积极的维护(couch_foo可能是个异常(exception))。所以我想这归结为(不可否认和不幸的)主观:有没有人对他们有过好的或坏的经历？ 最佳答案

  9. ruby - 如何获取适用于 ruby​​ 1.9.1 的 to_yaml 方法的格式化选项？ - 2

    根据YAML文档，可以传递hashofoptions到.to_yaml方法。目前，当我按照文档中的建议传递选项时，它不起作用，哈希被忽略。irb(main):001:0>require'yaml'=>trueirb(main):002:0>user={"1"=>{"name"=>"john","age"=>44}}user.to_yaml=>"---\n\"1\":\nname:john\nage:44\n"现在，传递一些选项:irb(main):014:0>user.to_yaml(:Indent=>4,:UseHeader=>true,:UseVersion=>true)=>"--

  10. ruby - 在 eclipse 中配置 gem - 2

    我正在尝试在Eclipse中从事流浪者/厨师项目。我对这两种技术都很陌生，对ruby有点生疏。我已经安装了rdt并且有一个带有代码的ruby​​项目。然而，eclipse似乎并不理解gems是必需的。有没有办法让ruby​​gems和eclipse一起玩得很好。我以为我可以将gems添加为库，但这似乎不起作用。 最佳答案 我在让Eclipse识别我安装的gem时遇到了一个非常相似的问题。我使用的是rvm，默认指向ruby​​2.1.0。我正在调试的ruby​​代码在顶部有一个require'mail'。运行或调试脚本时，控制台报错:

随机推荐