草庐IT

hadoop安装之保姆级教程（二）之YARN的配置

linzz0000 2025-07-25 原文

1.1.1 YARN的介绍

  为克服 Hadoop 1.0中HDFS和MapReduce存在的各种问题⽽提出的，针对Hadoop 1.0中的MapReduce在扩展性和多框架⽀持⽅⾯的不⾜，提出了全新的资源管理框架YARN.
  Apache YARN（Yet another Resource Negotiator的缩写）是Hadoop集群的资源管理系统，负责为计算程序提供服务器计算资源，相当于⼀个分布式的操作系统平台，⽽MapReduce等计算程序则相当于运⾏于操作
系统之上的应⽤程序。
  YARN被引⼊Hadoop2,最初是为了改善MapReduce的实现，但是因为具有⾜够的通⽤性，同样可以⽀持其他的 分布式计算模式，⽐如Spark，Tez等计算框架。

1.2.1 YARN的配置

YARN属于Hadoop的核⼼组件，不需要单独安装，只需要修改⼀些配置⽂件即可。

注：以下需要配置的配置文件均在hadoop-3.1.1安装目录下的 /etc/hadoop 文件夹里

1.2.2 mapred-site.xml

<configuration>
<!-- 指定MapReduce作业执⾏时，使⽤YARN进⾏资源调度 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>yarn.app.mapreduce.am.env</name>
        <value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.3.1</value>  #写hadoop的安装路径，下同
    </property>
    <property>
        <name>mapreduce.map.env</name>
        <value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.3.1</value>
    </property>
    <property>
        <name>mapreduce.reduce.env</name>
        <value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.3.1</value>
    </property>
</configuration>

1.2.3 yarn-site.xml

<configuration>
<!-- 设置ResourceManager -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>shulin</value>               #主机名
    </property>
<!--配置yarn的shuffle服务-->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

1.2.4 hadoop-env.sh

# 在最后面添加如下:
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

1.2.5 分发到其他节点

#如果没有其他节点，这步请忽略
[root@shulin ~]# cd $HADOOP_HOME/etc/ 
[root@shulin etc]# scp -r hadoop shulin02:$PWD
[root@shulin etc]# scp -r hadoop shulin03:$PWD

1.2.6 YARN的服务启停

描述命令
开启 YARN 全部服务
start-yarn.sh
停⽌ YARN 全部服务
stop-yarn.sh
单点开启 YARN 相关进程
yarn --daemon start resourcemanager
yarn --daemon start nodemanager
单点停⽌ YARN 相关进程
yarn --daemon stop resourcemanager
yarn --daemon stop nodemanager

1.3.1 YARN的历史日志

1.3.2 历史日志概述

  我们在YARN上运⾏MapReduce的程序的时候，可以在控制台上看到任务的⽇志输出，以获取到任务的运⾏状态。同 时，YARN也会将⽇志写在本地的$HADOOP_HOMOE/logs/userlogs⽂件夹中，我们可以到⽂件夹中进⾏⽇志的查 看。但是这个⽂件夹中的内容，会随着YARN的重启⽽被删除掉。那么此时我们将如何查看⽇志？
  此时就需要开启Hadoop的历史⽇志服务了，Hadoop会将MapReduce的任务⽇志在HDFS也保留⼀份，我们可以通过 Hadoop的历史任务服务来查看到之前的历史⽇志！
  但是每⼀个程序会被分布在不同的节点上进⾏运⾏，我们在进⾏任务查看的时候还得⼀个个的去指定节点进⾏查看， 并⼀个个的找MapTask或者ReduceTask的⽇志，很麻烦！预设YARN提供了历史⽇志聚合的服务！
顾名思义，就是将每⼀个程序的历史⽇志都聚合在⼀起，存储在HDFS上，⽅便查看！

1.3.3 mr-historyserver

顾名思义，就是去记录MapReduce的历史⽇志的。接下来我们从配置开始、到⽇志聚合、运⾏任务去讲解

1.3.4 配置文件

1.mapred-site.xml

<configuration>
<!-- 添加如下配置 -->
<!-- 历史任务的内部通讯地址 -->
    <property>
        <name>MapReduce.jobhistory.address</name>
        <value>shulin:10020</value>
    </property>
<!--历史任务的外部监听⻚⾯-->
    <property>
        <name>MapReduce.jobhistory.webapp.address</name>
        <value>shulin:19888</value>
    </property>
</configuration>
2. yarn-site.xml 
<configuration>
<!-- 添加如下配置 -->
<!-- 是否需要开启⽇志聚合 -->
<!-- 开启⽇志聚合后，将会将各个Container的⽇志保存在yarn.nodemanager.remote-app-log-dir的位置 -->
<!-- 默认保存在/tmp/logs -->
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
<!-- 历史⽇志在HDFS保存的时间，单位是秒 -->
<!-- 默认的是-1，表示永久保存 -->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>
    <property>
        <name>yarn.log.server.url</name>
        <value>http://shulin:19888/jobhistory/logs</value>
    </property>
</configuration>

1.3.5 分发配置

#没有其他节点的这步可以忽略
[root@shulin ~]# cd $HADOOP_HOME/etc/hadoop
[root@shulin hadoop]# scp mapred-site.xml yarn-site.xml shulin01:$PWD
[root@shulin hadoop]# scp mapred-site.xml yarn-site.xml shulin02:$PWD

1.3.6 开启历史服务

# 重启YARN集群
[root@shulin ~]# stop-yarn.sh
[root@shulin ~]# start-yarn.sh
# 打开历史服务
[root@shulin ~]# mapred --daemon start historyserver
# 开启之后，通过jps可以查看到 JobHistoryServer 进程，表示开启成功

在浏览器输入IP地址加端口号8088即可打开YARN界面

http://192.168.184.12:8088

现在配置的服务已够学习使用，后续还会更新其他配置如timeline服务，YARN的队列配置等。

hadoopYARNspan333333style大数据分布式1024程序员节

有关hadoop安装之保姆级教程（二）之YARN的配置的更多相关文章

  1. ruby - 在 64 位 Snow Leopard 上使用 rvm、postgres 9.0、ruby 1.9.2-p136 安装 pg gem 时出现问题 - 2

    我想为Heroku构建一个Rails3应用程序。他们使用Postgres作为他们的数据库，所以我通过MacPorts安装了postgres9.0。现在我需要一个postgresgem并且共识是出于性能原因你想要pggem。但是我对我得到的错误感到非常困惑当我尝试在rvm下通过geminstall安装pg时。我已经非常明确地指定了所有postgres目录的位置可以找到但仍然无法完成安装:$envARCHFLAGS='-archx86_64'geminstallpg--\--with-pg-config=/opt/local/var/db/postgresql90/defaultdb/po

  2. ruby - 完全离线安装RVM - 2

    我打算为ruby​​脚本创建一个安装程序，但我希望能够确保机器安装了RVM。有没有一种方法可以完全离线安装RVM并且不引人注目(通过不引人注目，就像创建一个可以做所有事情的脚本而不是要求用户向他们的bash_profile或bashrc添加一些东西)我不是要脚本本身，只是一个关于如何走这条路的快速指针(如果可能的话)。我们还研究了这个很有帮助的问题:RVM-isthereawayforsimpleofflineinstall?但有点误导，因为答案只向我们展示了如何离线在RVM中安装ruby。我们需要能够离线安装RVM本身，并查看脚本https://raw.github.com/wayn

  3. ruby-on-rails - rails 目前在重启后没有安装 - 2

    我有一个奇怪的问题:我在rvm上安装了ruby​​onrails。一切正常，我可以创建项目。但是在我输入“railsnew”时重新启动后，我有“程序'rails'当前未安装。”。SystemUbuntu12.04ruby-v"1.9.3p194"gemlistactionmailer(3.2.5)actionpack(3.2.5)activemodel(3.2.5)activerecord(3.2.5)activeresource(3.2.5)activesupport(3.2.5)arel(3.0.2)builder(3.0.0)bundler(1.1.4)coffee-rails(

  4. ruby - 如何为 emacs 安装 ruby​​-mode - 2

    我刚刚为fedora安装了emacs。我想用emacs编写ruby。为ruby​​提供代码提示、代码完成类型功能所需的工具、扩展是什么？ 最佳答案 ruby-mode已经包含在Emacs23之后的版本中。不过，它也可以通过ELPA获得。您可能感兴趣的其他一些事情是集成RVM、feature-mode(Cucumber)、rspec-mode、ruby-electric、inf-ruby、rinari(用于Rails)等。这是我当前用于Ruby开发的Emacs配置:https://github.com/citizen428/emacs

  5. ruby-on-rails - 无法在centos上安装therubyracer(V8和GCC出错) - 2

    我正在尝试在我的centos服务器上安装therubyracer，但遇到了麻烦。$geminstalltherubyracerBuildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingtherubyracer:ERROR:Failedtobuildgemnativeextension./usr/local/rvm/rubies/ruby-1.9.3-p125/bin/rubyextconf.rbcheckingformain()in-lpthread...yescheckingforv8.h...no***e

  6. ruby-on-rails - 独立 ruby​​ 脚本的配置文件 - 2

    我有一个在Linux服务器上运行的ruby​​脚本。它不使用rails或任何东西。它基本上是一个命令行ruby​​脚本，可以像这样传递参数:./ruby_script.rbarg1arg2如何将参数抽象到配置文件(例如yaml文件或其他文件)中？您能否举例说明如何做到这一点？提前谢谢你。 最佳答案 首先，您可以运行一个写入YAML配置文件的独立脚本:require"yaml"File.write("path_to_yaml_file",[arg1,arg2].to_yaml)然后，在您的应用中阅读它:require"yaml"arg

  7. ruby - 通过 RVM (OSX Mountain Lion) 安装 Ruby 2.0.0-p247 时遇到问题 - 2

    我的最终目标是安装当前版本的RubyonRails。我在OSXMountainLion上运行。到目前为止，这是我的过程:已安装的RVM$\curl-Lhttps://get.rvm.io|bash-sstable检查已知(我假设已批准)安装$rvmlistknown我看到当前的稳定版本可用[ruby-]2.0.0[-p247]输入命令安装$rvminstall2.0.0-p247注意:我也试过这些安装命令$rvminstallruby-2.0.0-p247$rvminstallruby=2.0.0-p247我很快就无处可去了。结果:$rvminstall2.0.0-p247Search

  8. ruby - 如何在 Lion 上安装 Xcode 4.6，需要用 RVM 升级 ruby - 2

    我实际上是在尝试使用RVM在我的OSX10.7.5上更新ruby，并在输入以下命令后:rvminstallruby我得到了以下回复:Searchingforbinaryrubies,thismighttakesometime.Checkingrequirementsforosx.Installingrequirementsforosx.Updatingsystem.......Errorrunning'requirements_osx_brew_update_systemruby-2.0.0-p247',pleaseread/Users/username/.rvm/log/138121

  9. ruby - Fast-stemmer 安装问题 - 2

    由于fast-stemmer的问题，我很难安装我想要的任何ruby​​gem。我把我得到的错误放在下面。Buildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingfast-stemmer:ERROR:Failedtobuildgemnativeextension./System/Library/Frameworks/Ruby.framework/Versions/2.0/usr/bin/rubyextconf.rbcreatingMakefilemake"DESTDIR="cleanmake"DESTDIR=

  10. Ruby Sinatra 配置用于生产和开发 - 2

    我已经在Sinatra上创建了应用程序，它代表了一个简单的API。我想在生产和开发上进行部署。我想在部署时选择，是开发还是生产，一些方法的逻辑应该改变，这取决于部署类型。是否有任何想法，如何完成以及解决此问题的一些示例。例子:我有代码get'/api/test'doreturn"Itisdev"end但是在部署到生产环境之后我想在运行/api/test之后看到ItisPROD如何实现？ 最佳答案 根据SinatraDocumentation:EnvironmentscanbesetthroughtheRACK_ENVenvironm

随机推荐