草庐IT

【深入浅出 Yarn 架构与实现】4-3 RM 管理 NodeManager

本篇继续对RM中管理NodeManager的部分进行深入的讲解。主要有三个部分:检查NM是否存活;管理NM的黑白名单;响应NMRPC请求。一、简介在RM的主从结构中,最主要的就是RM和NM之间的主从结构。RM作为「管理员」,管理下面多个NM节点。如何检测NM是否存活,划分黑白名单,以及如何相应NMRPC请求,将在下面进行详细介绍。二、NM管理主要组成一)NMLivelinessMonitor检测NM活性的服务,是否有心跳当前正在运行的NM会保存在RM的一个数据结构中,NMLivelinessMonitor就周期遍历,若一个NM在一定时间(默认10分钟)未汇报心跳,则任务其挂了NM被认为挂了后,

【深入浅出 Yarn 架构与实现】4-3 RM 管理 NodeManager

本篇继续对RM中管理NodeManager的部分进行深入的讲解。主要有三个部分:检查NM是否存活;管理NM的黑白名单;响应NMRPC请求。一、简介在RM的主从结构中,最主要的就是RM和NM之间的主从结构。RM作为「管理员」,管理下面多个NM节点。如何检测NM是否存活,划分黑白名单,以及如何相应NMRPC请求,将在下面进行详细介绍。二、NM管理主要组成一)NMLivelinessMonitor检测NM活性的服务,是否有心跳当前正在运行的NM会保存在RM的一个数据结构中,NMLivelinessMonitor就周期遍历,若一个NM在一定时间(默认10分钟)未汇报心跳,则任务其挂了NM被认为挂了后,

【深入浅出 Yarn 架构与实现】4-4 RM 管理 Application

在YARN中,Application是指应用程序,它可能启动多个运行实例,每个运行实例由—个ApplicationMaster与一组该ApplicationMaster启动的任务组成,它拥有名称、队列、优先级等属性,是一个比较宽泛的概念,可以是一个MepReduce作业、一个DAG应用程序等。YARN中Application管理涉及应用程序的权限管理、启动与关闭、生命周期管理等,本节只介绍最基本的管理内容,比如权限管理、启动与关闭等,而生命周期管理则放到下一节中介绍。一、ApplicationACLsManagerApplicationACLsManager负责管理应用程序访问权限查看权限程序

【深入浅出 Yarn 架构与实现】4-4 RM 管理 Application

在YARN中,Application是指应用程序,它可能启动多个运行实例,每个运行实例由—个ApplicationMaster与一组该ApplicationMaster启动的任务组成,它拥有名称、队列、优先级等属性,是一个比较宽泛的概念,可以是一个MepReduce作业、一个DAG应用程序等。YARN中Application管理涉及应用程序的权限管理、启动与关闭、生命周期管理等,本节只介绍最基本的管理内容,比如权限管理、启动与关闭等,而生命周期管理则放到下一节中介绍。一、ApplicationACLsManagerApplicationACLsManager负责管理应用程序访问权限查看权限程序

TI毫米波级联雷达评估板 MMWCAS-DSP-EVM 和MMWCAS-RF-EVM

1.前言本文主要是TI的MMWCAS-DSP-EVM和MMWCAS-RF-EVM两块评估板的一些使用心得和毫米波雷达的学习总结。2.相关原理毫米波(mmWave)是一类使用短波长电磁波的特殊雷达技术。通过捕捉反射的信号,雷达系统可以确定物体的距离、速度和角度。毫米波雷达可发射波长为毫米量级的信号,短波长让所需的系统组件(如天线)的尺寸很小,同时也可以提高精度,工作频率为76-81GHz(对应波长约为4mm)的毫米波的微小移动分辨率大概为零点几毫米。完整的毫米波雷达系统包括发送和接收射频组件,以及时钟等模拟器件,还有模数转换器(ADC)、微控制器(MCU)和数字信号处理器(DSP)等数字组件。而

TI毫米波级联雷达评估板 MMWCAS-DSP-EVM 和MMWCAS-RF-EVM

1.前言本文主要是TI的MMWCAS-DSP-EVM和MMWCAS-RF-EVM两块评估板的一些使用心得和毫米波雷达的学习总结。2.相关原理毫米波(mmWave)是一类使用短波长电磁波的特殊雷达技术。通过捕捉反射的信号,雷达系统可以确定物体的距离、速度和角度。毫米波雷达可发射波长为毫米量级的信号,短波长让所需的系统组件(如天线)的尺寸很小,同时也可以提高精度,工作频率为76-81GHz(对应波长约为4mm)的毫米波的微小移动分辨率大概为零点几毫米。完整的毫米波雷达系统包括发送和接收射频组件,以及时钟等模拟器件,还有模数转换器(ADC)、微控制器(MCU)和数字信号处理器(DSP)等数字组件。而

【深入浅出 Yarn 架构与实现】4-6 RM 行为探究 - 申请与分配 Container

本小节介绍应用程序的ApplicationMaster在NodeManager成功启动并向ResourceManager注册后,向ResourceManager请求资源(Container)到获取到资源的整个过程,以及ResourceManager内部涉及的主要工作流程。一、整体流程整个过程可看做以下两个阶段的送代循环:阶段1ApplicationMaster汇报资源需求并领取已经分配到的资源;阶段2NodeManager向ResourceManager汇报各个Container运行状态,如果ResourceManager发现它上面有空闲的资源,则进行一次资源分配,并将分配的资源保存到对应的应

【深入浅出 Yarn 架构与实现】4-6 RM 行为探究 - 申请与分配 Container

本小节介绍应用程序的ApplicationMaster在NodeManager成功启动并向ResourceManager注册后,向ResourceManager请求资源(Container)到获取到资源的整个过程,以及ResourceManager内部涉及的主要工作流程。一、整体流程整个过程可看做以下两个阶段的送代循环:阶段1ApplicationMaster汇报资源需求并领取已经分配到的资源;阶段2NodeManager向ResourceManager汇报各个Container运行状态,如果ResourceManager发现它上面有空闲的资源,则进行一次资源分配,并将分配的资源保存到对应的应

【深入浅出 Yarn 架构与实现】4-5 RM 行为探究 - 启动 ApplicationMaster

本节开始,将对ResourceManager中一些常见行为进行分析探究,看某些具体关键的行为,在RM中是如何流转的。本节将深入源码探究「启动ApplicationMaster」的具体流程。一、整体流程本小节介绍从应用程序提交到启动ApplicationMaster的整个过程,期间涉及Client、RMService、RMAppManager、RMApplmpl、RMAppAttemptImpl、RMNode、ResourceScheduler等几个主要组件。当客户端调用RPC函数ApplicationClientProtocol#submitApplication后,ResourceManag

【深入浅出 Yarn 架构与实现】4-5 RM 行为探究 - 启动 ApplicationMaster

本节开始,将对ResourceManager中一些常见行为进行分析探究,看某些具体关键的行为,在RM中是如何流转的。本节将深入源码探究「启动ApplicationMaster」的具体流程。一、整体流程本小节介绍从应用程序提交到启动ApplicationMaster的整个过程,期间涉及Client、RMService、RMAppManager、RMApplmpl、RMAppAttemptImpl、RMNode、ResourceScheduler等几个主要组件。当客户端调用RPC函数ApplicationClientProtocol#submitApplication后,ResourceManag