草庐IT

【深入浅出 Yarn 架构与实现】4-1 ResourceManager 功能概述

大数据王小皮 2023-04-16 原文

前面几篇文章对 Yarn 基本架构、程序基础库、应用设计方法等进行了介绍。之后几篇将开始对 Yarn 核心组件进行剖析。
ResourceManager(RM)是 Yarn 的核心管理服务,负责集群管理、任务调度、状态机管理等,本篇将对 RM 总体架构进行介绍。

一、RM 基本职能

主要包含以下几个功能:

  • Client 交互:处理来自 Client 的请求;
  • 管理 ApplicationMaster:启动、管理、重启等;
  • 管理 Nodemanager:接收 NM 汇报的资源信息,并下达管理指令;
  • 资源管理与调度:接收 AM 的资源请求,并分配资源。

如上图所示,RM 中各组件通过对应 RPC 与各 Client 进行通信:

  • ResourceTrackerProtocol: NodeManager(NM)通过该 RPC 协议向 RM 注册、汇报节点健康状况和 Container 运行状态,并领取 RM 下达的命令。NM 与 RM 之间采用了「pull模型」,NM 总是周期性地主动向 RM 发起请求(心跳),并领取下达给自己的命令。
  • ApplicationMasterProtocol: 应用程序的 ApplicationMaster 通过该 RPC 协议向 RM 注册、申请资源和释放资源。(AM 与 RM 交互参考上一篇文章「3-3 Yarn Application Master 编写」)
  • ApplicationClientProtocol: 应用程序的客户端通过该 RPC 协议向 ResourceManager 提交应用程序、查询应用程序状态和控制应用程序(比如杀死应用程序)等。(AppClient 与 RM 交互参考文章「3-2 Yarn Client 编写」

从以上介绍中可以看出,与 RM 通过 RPC 通信的组件都采用「Pull 模型」,各个「Client」通过心跳定期向 RM 汇报,在心跳返回值中领取 RM 下达的指令。

二、RM 内部架构

本节将深入 RM 内部,看其内部组织结构和主要模块,架构图如下所示:

一)用户交互模块

RM 分别针对普通用户、管理员和 Web 提供了三种对外服务:

  • ClientRMService: 为普通用户提供的服务,它处理来自客户端各种RPC请求,比如提交应用程序、终止应用程序、获取应用程序运行状态等;
  • AdminService: RM 为管理员提供了一套独立的服务接口,以防止管理员发送的管理命令饿死,管理员可通过这些接口管理集群,比如动态更新节点列表、更新ACL列表、更新队列信息等;
  • WebApp: 更加友好地展示集群资源使用情况和应用程序运行状态等信息。

二) NM 管理模块

  • NMLivelinessMonitor: 监控 NM 是否活着,长时间(默认为10min)内未汇报心跳信息,则认为其挂了;
  • NodesListManager: 维护正常节点和异常节点列表,管理exclude(类似于黑名单)和include(类似于白名单)节点列表,这两个列表均是在配置文件中设置的,可以动态加载;
  • ResourceTrackerService: 处理来自 NM 的请求,主要包括注册和心跳两种请求。

三) AM 管理模块

  • AMLivelinessMonitor: 监控AM是否活着,长时间未汇报心跳,它上面所有正在运行的 Container 将被置为失败状态,而 AM 本身会被重新分配到另外一个节点上执行(AM 重试次数默认是2);
  • ApplicationMasterLauncher: 与某个 NM 通信,要求它为某个应用程序启动 ApplicationMaster;
  • ApplicationMasterService(AMS): 处理来自 AM 的请求,主要包括注册和心跳两种请求。其中心跳汇报信息包含所需资源描述、待释放的Container列表、黑名单列表等,而 AMS 则为之返回相应的 Container 信息。

四) Application 管理模块

  • ApplicationACLsManage: 管理应用程序访问权限,包含两部分权限:查看权限和修改权限;
  • RMAppManager: 管理应用程序的启动和关闭;
  • ContainerAllocationExpirer: 当 AM 收到 RM 新分配的一个 Container 后,必须在一定的时间内启动该 Container,否则将被回收。

五)状态机管理模块

RM 共维护四类状态机:

  • RMApp: 维护一个 Application 的整个运行周期,可能会包括多次 Attempt;
  • RMAppAttempt: 一个实例运行失败后,可能再次启动一个重新运行,而每次启动称为一次运行尝试用 「RMAppAttempt」描述,RMAppAttempt 维护了一次运行尝试的整个生命周期;
  • RMContainer: 维护一个 Container 的运行周期。RM 将资源封装成 Container 发送给应用程序的 AM,而AM 则会在 Container 中启动任务;
  • RMNode: 维护一个 NM 的生命周期,包括启动到运行结束整个过程。

六)安全管理模块

RM 有非常全面的权限管理机制,主要包括:

  • ClientToAMSecretManager
  • ContainerTokenSecretManager
  • ApplicationTokenSecretManager

七)资源分配模块

该模块主要涉及一个组件「ResourceScheduler」。其是资源调度器,按照一定的约束条件(比如队列容量限制等)将集群中的资源分配给各个应用程序。
ResourceScheduler 是一个插拔式模块,自带三个调度器,用户可以自己定制:

  • FIFO:先进先出,单用户
  • Fair Scheduler:公平调度器(FairScheduler基本上具备其它两种的所有功能)
  • Capacity Scheduler:容量调度器

此部分将在后面文章中更详细的介绍。

三、RM事件与事件处理器

Yarn采用了事件驱动机制,而RM是的实现则是最好的例证。所有服务和组件均是通过中央异步调度器组织在一起的,不同组件之间通过事件交互,从而实现了一个异步并行的高效系统。
下面是详细的表格:

四、小结

在 YARN 中,ResourceManager 负责集群中所有资源的统一管理和分配,它接收来自各个节点(NodeManager)的资源汇报信息,并把这些信息按照一定的策略分配给各个应用程序。
本篇对 ResourceManager 总体架构进行了介绍。对其基本职能、内部结构、处理的事件进行了梳理。后续文章中将会对每个部分深入源码进行更深入讨论。


参考文章:
《Hadoop 技术内幕 - 深入解析 Yarn 结构设计与实现原理》第五章

有关【深入浅出 Yarn 架构与实现】4-1 ResourceManager 功能概述的更多相关文章

  1. ruby - 如何根据特征实现 FactoryGirl 的条件行为 - 2

    我有一个用户工厂。我希望默认情况下确认用户。但是鉴于unconfirmed特征,我不希望它们被确认。虽然我有一个基于实现细节而不是抽象的工作实现,但我想知道如何正确地做到这一点。factory:userdoafter(:create)do|user,evaluator|#unwantedimplementationdetailshereunlessFactoryGirl.factories[:user].defined_traits.map(&:name).include?(:unconfirmed)user.confirm!endendtrait:unconfirmeddoenden

  2. ruby-on-rails - Cucumber 是否只是 rspec 的包装器以帮助将测试组织成功能? - 2

    只是想确保我理解了事情。据我目前收集到的信息,Cucumber只是一个“包装器”,或者是一种通过将事物分类为功能和步骤来组织测试的好方法,其中实际的单元测试处于步骤阶段。它允许您根据事物的工作方式组织您的测试。对吗? 最佳答案 有点。它是一种组织测试的方式,但不仅如此。它的行为就像最初的Rails集成测试一样,但更易于使用。这里最大的好处是您的session在整个Scenario中保持透明。关于Cucumber的另一件事是您(应该)从使用您的代码的浏览器或客户端的角度进行测试。如果您愿意,您可以使用步骤来构建对象和设置状态,但通常您

  3. 华为OD机试用Python实现 -【明明的随机数】 2023Q1A - 2

    华为OD机试题本篇题目:明明的随机数题目输入描述输出描述:示例1输入输出说明代码编写思路最近更新的博客华为od2023|什么是华为od,od薪资待遇,od机试题清单华为OD机试真题大全,用Python解华为机试题|机试宝典【华为OD机试】全流程解析+经验分享,题型分享,防作弊指南华为o

  4. 基于C#实现简易绘图工具【100010177】 - 2

    C#实现简易绘图工具一.引言实验目的:通过制作窗体应用程序(C#画图软件),熟悉基本的窗体设计过程以及控件设计,事件处理等,熟悉使用C#的winform窗体进行绘图的基本步骤,对于面向对象编程有更加深刻的体会.Tutorial任务设计一个具有基本功能的画图软件**·包括简单的新建文件,保存,重新绘图等功能**·实现一些基本图形的绘制,包括铅笔和基本形状等,学习橡皮工具的创建**·设计一个合理舒适的UI界面**注明:你可能需要先了解一些关于winform窗体应用程序绘图的基本知识,以及关于GDI+类和结构的知识二.实验环境Windows系统下的visualstudio2017C#窗体应用程序三.

  5. MIMO-OFDM无线通信技术及MATLAB实现(1)无线信道:传播和衰落 - 2

     MIMO技术的优缺点优点通过下面三个增益来总体概括:阵列增益。阵列增益是指由于接收机通过对接收信号的相干合并而活得的平均SNR的提高。在发射机不知道信道信息的情况下,MIMO系统可以获得的阵列增益与接收天线数成正比复用增益。在采用空间复用方案的MIMO系统中,可以获得复用增益,即信道容量成倍增加。信道容量的增加与min(Nt,Nr)成正比分集增益。在采用空间分集方案的MIMO系统中,可以获得分集增益,即可靠性性能的改善。分集增益用独立衰落支路数来描述,即分集指数。在使用了空时编码的MIMO系统中,由于接收天线或发射天线之间的间距较远,可认为它们各自的大尺度衰落是相互独立的,因此分布式MIMO

  6. 阿里云RDS——产品系列概述 - 2

    基础版云数据库RDS的产品系列包括基础版、高可用版、集群版、三节点企业版,本文介绍基础版实例的相关信息。RDS基础版实例也称为单机版实例,只有单个数据库节点,计算与存储分离,性价比超高。说明RDS基础版实例只有一个数据库节点,没有备节点作为热备份,因此当该节点意外宕机或者执行重启实例、变更配置、版本升级等任务时,会出现较长时间的不可用。如果业务对数据库的可用性要求较高,不建议使用基础版实例,可选择其他系列(如高可用版),部分基础版实例也支持升级为高可用版。基础版与高可用版的对比拓扑图如下所示。优势 性能由于不提供备节点,主节点不会因为实时的数据库复制而产生额外的性能开销,因此基础版的性能相对于

  7. 【Java入门】使用Java实现文件夹的遍历 - 2

    遍历文件夹我们通常是使用递归进行操作,这种方式比较简单,也比较容易理解。本文为大家介绍另一种不使用递归的方式,由于没有使用递归,只用到了循环和集合,所以效率更高一些!一、使用递归遍历文件夹整体思路1、使用File封装初始目录,2、打印这个目录3、获取这个目录下所有的子文件和子目录的数组。4、遍历这个数组,取出每个File对象4-1、如果File是否是一个文件,打印4-2、否则就是一个目录,递归调用代码实现publicclassSearchFile{publicstaticvoidmain(String[]args){//初始目录Filedir=newFile("d:/Dev");Datebeg

  8. hadoop安装之保姆级教程(二)之YARN的配置 - 2

    1.1.1 YARN的介绍 为克服Hadoop1.0中HDFS和MapReduce存在的各种问题⽽提出的,针对Hadoop1.0中的MapReduce在扩展性和多框架⽀持⽅⾯的不⾜,提出了全新的资源管理框架YARN. ApacheYARN(YetanotherResourceNegotiator的缩写)是Hadoop集群的资源管理系统,负责为计算程序提供服务器计算资源,相当于⼀个分布式的操作系统平台,⽽MapReduce等计算程序则相当于运⾏于操作系统之上的应⽤程序。 YARN被引⼊Hadoop2,最初是为了改善MapReduce的实现,但是因为具有⾜够的通⽤性,同样可以⽀持其他的分布式计算模

  9. ruby - Arrays Sets 和 SortedSets 在 Ruby 中是如何实现的 - 2

    通常,数组被实现为内存块,集合被实现为HashMap,有序集合被实现为跳跃列表。在Ruby中也是如此吗?我正在尝试从性能和内存占用方面评估Ruby中不同容器的使用情况 最佳答案 数组是Ruby核心库的一部分。每个Ruby实现都有自己的数组实现。Ruby语言规范只规定了Ruby数组的行为,并没有规定任何特定的实现策略。它甚至没有指定任何会强制或至少建议特定实现策略的性能约束。然而,大多数Rubyist对数组的性能特征有一些期望,这会迫使不符合它们的实现变得默默无闻,因为实际上没有人会使用它:插入、前置或追加以及删除元素的最坏情况步骤复

  10. ruby - "public/protected/private"方法是如何实现的,我该如何模拟它? - 2

    在ruby中,你可以这样做:classThingpublicdeff1puts"f1"endprivatedeff2puts"f2"endpublicdeff3puts"f3"endprivatedeff4puts"f4"endend现在f1和f3是公共(public)的,f2和f4是私有(private)的。内部发生了什么,允许您调用一个类方法,然后更改方法定义?我怎样才能实现相同的功能(表面上是创建我自己的java之类的注释)例如...classThingfundeff1puts"hey"endnotfundeff2puts"hey"endendfun和notfun将更改以下函数定

随机推荐