草庐IT

【云计算】Hadoop3.1伪分布式环境搭建

普通网友 2023-06-03 原文

1.环境准备

Hadoop3.1.1下载：Index of /dist/hadoop/common/hadoop-3.1.1[这里是图片001]https://archive.apache.org/dist/hadoop/common/hadoop-3.1.1/

创建Centos7虚拟机之后，建立三个新文件夹用于存放文件

把我们的环境文件放入对应的文件夹

2.安装jdk1.8

进入java文件夹，解压安装jdk1.8

[root@localhost master]# cd java

解压：

tar -zxvf jdk-8u291-linux-x64.tar.gz

移动：

mv jdk1.8.0_291 /usr/local/jdk1.8

修改配置文件：

vim /etc/profile

添加配置：

export JAVA_HOME=/usr/local/jdk1.8 export CLASSPATH= : C L A S S P A T H : :CLASSPATH: :CLASSPATH:JAVA_HOME/lib/ export PATH= P A T H : PATH: PATH:JAVA_HOME/bin

刷新配置：

source /etc/profile

转自：腾讯云服务器（linux终端）安装jdk1.8_Cabbage coder的博客-CSDN博客_腾讯云服务器终端

查看java版本

[root@localhost java]# java -version

jdk为1.8，安装成功

3.Hadoop配置

3.1 IP地址和主机名配置

执行

# vim /etc/hosts

写入我们的ip地址，并绑定一个名字

192.168.15.129是我们虚拟机的ip地址，master是我们为主机起的名字，我们这样做是把名字和主机ip绑定在一起

我们来测试一下是否绑定成功

在终端ping一下master

[root@localhost hadoop]# ping master

ping成功了

3.2安装Hadoop

进入Hadoop文件夹

解压Hadoop

tar -zxvf hadoop-3.1.1.tar.gz

移动Hadoop

[root@localhost hadoop]# mv hadoop-3.1.1 /opt/hadoop

看一下移动结果

[root@localhost hadoop]# ls /opt/hadoop/

3.3进行Hadoop角色的配置

打开etc/hadoop/hadoop-env.sh进行配置

（从centos根目录进入）

写入配置信息

export JAVA_HOME=/usr/local/jdk1.8
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root

etc/hadoop/core-site.xml 进入修改配置文件

写入配置

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://master:9820</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/sxt/local</value>
	</property>
</configuration>

etc/hadoop/hdfs-site.xml 进入修改配置文件

<configuration>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
	<property>
		<name>dfs.namenode.secondary.http-address</name>
		<value>master:9868</value>
	</property>
</configuration>

打开workers

改为自己的主机名（我的是master）

3.4执行format初始化命令（只在第一次安装时才初始化）

注意，在根目录的Hadoop下运行

[root@localhost hadoop]# ./bin/hdfs namenode -format

查看是否初始化生成指定文件夹

[root@localhost hadoop]# ls /opt/sxt/local/

4.设置SSH服务

安装SSH服务

yum -y install openssh openssh-server openssh-clients

设置SSH免密登录

[root@localhost hadoop]# cd ~/.ssh/
[root@localhost .ssh]# ssh-keygen -t rsa

遇到输入的就回车

引用一张百度的图

将密钥加入到授权中，修改授权文件权限

[root@localhost .ssh]# cat id_rsa.pub >>authorized_keys
[root@localhost .ssh]# chmod 600 ./authorized_keys

测试一下，访问一下master

不用密码就能登录

5.启动Hadoop

在根目录Hadoop中启动Hadoop

[root@master hadoop]# ./sbin/start-dfs.sh

之前启动一次了，所以提示Stop it first

在centos的火狐浏览器中访问http://192.168.15.129:9870/

启动成功，至此，我们已经完成单台Hadoop配置

Hadoop3Hadoopspanclassx-oss-processjava后端

有关【云计算】Hadoop3.1伪分布式环境搭建的更多相关文章

  1. ruby-on-rails - 使用一系列等级计算字母等级 - 2

    这里是Ruby新手。完成一些练习后碰壁了。练习:计算一系列成绩的字母等级创建一个方法get_grade来接受测试分数数组。数组中的每个分数应介于0和100之间，其中100是最大分数。计算平均分并将字母等级作为字符串返回，即“A”、“B”、“C”、“D”、“E”或“F”。我一直返回错误:avg.rb:1:syntaxerror,unexpectedtLBRACK,expecting')'defget_grade([100,90,80])^avg.rb:1:syntaxerror,unexpected')',expecting$end这是我目前所拥有的。我想坚持使用下面的方法或.join，

  2. ruby-on-rails - 在 Rails 开发环境中为 .ogv 文件设置 Mime 类型 - 2

    我正在玩HTML5视频并且在ERB中有以下片段:mp4视频从在我的开发环境中运行的服务器很好地流式传输到chrome。然而firefox显示带有海报图像的视频播放器，但带有一个大X。问题似乎是mongrel不确定ogv扩展的mime类型，并且只返回text/plain，如curl所示:$curl-Ihttp://0.0.0.0:3000/pr6.ogvHTTP/1.1200OKConnection:closeDate:Mon,19Apr201012:33:50GMTLast-Modified:Sun,18Apr201012:46:07GMTContent-Type:text/plain

  3. ruby - 分布式事务和队列，ruby，erlang，scala - 2

    我有一个涉及多台机器、消息队列和事务的问题。因此，例如用户点击网页，点击将消息发送到另一台机器，该机器将付款添加到用户的帐户。每秒可能有数千次点击。事务的所有方面都应该是容错的。我以前从未遇到过这样的事情，但一些阅读表明这是一个众所周知的问题。所以我的问题。我假设安全的方法是使用两阶段提交，但协议(protocol)是阻塞的，所以我不会获得所需的性能，我是否正确？我通常写Ruby，但似乎Redis之类的数据库和Rescue、RabbitMQ等消息队列系统对我的帮助不大——即使我实现某种两阶段提交，如果Redis崩溃，数据也会丢失，因为它本质上只是内存。所有这些让我开始关注erlang和

  4. Vscode+Cmake配置并运行opencv环境(Windows和Ubuntu大同小异) - 2

    之前在培训新生的时候，windows环境下配置opencv环境一直教的都是网上主流的vsstudio配置属性表，但是这个似乎对新生来说难度略高(虽然个人觉得完全是他们自己的问题)，加之暑假之后对cmake实在是爱不释手，且这样配置确实十分简单(其实都不需要配置)，故斗胆妄言vscode下配置CV之法。其实极为简单，图比较多所以很长。如果你看此文还配不好，你应该思考一下是不是自己的问题。闲话少说，直接开始。0.CMkae简介有的人到大二了都不知道cmake是什么，我不说是谁。CMake是一个开源免费并且跨平台的构建工具，可以用简单的语句来描述所有平台的编译过程。它能够根据当前所在平台输出对应的m

  5. 计算机毕业设计ssm+vue基本微信小程序的小学生兴趣延时班预约小程序 - 2

    项目介绍随着我国经济迅速发展,人们对手机的需求越来越大,各种手机软件也都在被广泛应用,但是对于手机进行数据信息管理,对于手机的各种软件也是备受用户的喜爱小学生兴趣延时班预约小程序的设计与开发被用户普遍使用,为方便用户能够可以随时进行小学生兴趣延时班预约小程序的设计与开发的数据信息管理,特开发了小程序的设计与开发的管理系统。小学生兴趣延时班预约小程序的设计与开发的开发利用现有的成熟技术参考,以源代码为模板,分析功能调整与小学生兴趣延时班预约小程序的设计与开发的实际需求相结合,讨论了小学生兴趣延时班预约小程序的设计与开发的使用。开发环境开发说明：前端使用微信微信小程序开发工具：后端使用ssm：VU

  6. hadoop安装之保姆级教程（二）之YARN的配置 - 2

    1.1.1 YARN的介绍 为克服Hadoop1.0中HDFS和MapReduce存在的各种问题⽽提出的，针对Hadoop1.0中的MapReduce在扩展性和多框架⽀持⽅⾯的不⾜，提出了全新的资源管理框架YARN. ApacheYARN（YetanotherResourceNegotiator的缩写）是Hadoop集群的资源管理系统，负责为计算程序提供服务器计算资源，相当于⼀个分布式的操作系统平台，⽽MapReduce等计算程序则相当于运⾏于操作系统之上的应⽤程序。 YARN被引⼊Hadoop2,最初是为了改善MapReduce的实现，但是因为具有⾜够的通⽤性，同样可以⽀持其他的分布式计算模

  7. ruby-on-rails - ruby gem如何在rails环境下工作 - 2

    我试图在rails中了解rubygems是如何变得可以自动使用的，而不是在使用required的文件中gem？ 最佳答案 这是通过bundler/setup完成的:http://bundler.io/v1.3/bundler_setup.html.它在您的config/boot.rb文件中是必需的。简而言之，它首先将环境变量设置为指向您的Gemfile:ENV['BUNDLE_GEMFILE']||=File.expand_path('../../Gemfile',__FILE__)然后它通过要求bundler/setup将所有ge

  8. ruby - 如何计算 Liquid 中的变量 +1 - 2

    我对如何计算通过{%assignvar=0%}赋值的变量加一完全感到困惑。这应该是最简单的任务。到目前为止，这是我尝试过的:{%assignamount=0%}{%forvariantinproduct.variants%}{%assignamount=amount+1%}{%endfor%}Amount:{{amount}}结果总是0。也许我忽略了一些明显的东西。也许有更好的方法。我想要存档的只是获取运行的迭代次数。 最佳答案 因为{{incrementamount}}将输出您的变量值并且不会影响{%assign%}定义的变量，我

  9. ruby - 使用 Ruby，计算 n x m 数组的每一列中有多少个 true 的简单方法是什么？ - 2

    给定一个nxmbool数组:[[true,true,false],[false,true,true],[false,true,true]]有什么简单的方法可以返回“该列中有多少个true？”结果应该是[1,3,2] 最佳答案 使用转置得到一个数组，其中每个子数组代表一列，然后将每一列映射到其中的true数:arr.transpose.map{|subarr|subarr.count(true)}这是一个带有inject的版本，应该在1.8.6上运行，没有任何依赖:arr.transpose.map{|subarr|subarr.in

  10. arrays - 计算数组中的匹配元素 - 2

    给定两个大小相等的数组，如何找到不考虑位置的匹配元素的数量？例如:[0,0,5]和[0,5,5]将返回2的匹配项，因为有一个0和一个5共同；[1,0,0,3]和[0,0,1,4]将返回3的匹配项，因为0有两场，1有一场；[1,2,2,3]和[1,2,3,4]将返回3的匹配项。我尝试了很多想法，但它们都变得相当粗糙和令人费解。我猜想有一些不错的Ruby习惯用法，或者可能是一个正则表达式，可以很好地回答这个解决方案。 最佳答案 您可以使用count完成它:a.count{|e|index=b.index(e)andb.delete_at

随机推荐