Spark环境搭建JunLeon——gobigorgohome目录Spark环境搭建目录Spark环境搭建一、环境准备1、软件准备2、Hadoop集群搭建3、Anaconda环境搭建二、SparkLocal模式搭建1、Spark下载、上传和解压2、配置环境变量3、配置Spark配置文件4、测试5、补充：spark-shell、spark-submit三、SparkStandone模式搭建1、Hadoop集群与Spark集群节点规划2、三台虚拟机分别安装Anaconda3环境3、配置Spark配置文件（1）配置spark-env.sh文件（2）配置spark-defaults.conf文件（3）
上篇文章介绍了编写YarnApplication的整体框架流程，本篇文章将详细介绍其中Client部分的编写方式。一、YarnClient编写方法本篇代码已上传Github：Github-MyYarnClient一）编写流程1、创建并启动ClientYarnClient内容通过ApplicationClientProtocol与ResourceManager通信，向RM的ApplicationsManager申请Application。跟踪进去可以在YarnClientImpl找到rpc：this.rmClient=(ApplicationClientProtocol)ClientRMProx
上篇文章介绍了编写YarnApplication的整体框架流程，本篇文章将详细介绍其中Client部分的编写方式。一、YarnClient编写方法本篇代码已上传Github：Github-MyYarnClient一）编写流程1、创建并启动ClientYarnClient内容通过ApplicationClientProtocol与ResourceManager通信，向RM的ApplicationsManager申请Application。跟踪进去可以在YarnClientImpl找到rpc：this.rmClient=(ApplicationClientProtocol)ClientRMProx
本篇文章继续介绍YarnApplication中ApplicationMaster部分的编写方法。一、ApplicationMaster编写方法上一节讲了Client提交任务给RM的全流程，RM收到任务后，由ApplicationsManager向NM申请Container，并根据Client提供的ContainerLaunchContext启动ApplicationMaster。本篇代码已上传Github：Github-MyApplicationMaster一）整体流程1&2、启动NMClient和RMClient在AM中需要分别启动NMClient和RMClient进行通信。两个客户端中都
本篇文章继续介绍YarnApplication中ApplicationMaster部分的编写方法。一、ApplicationMaster编写方法上一节讲了Client提交任务给RM的全流程，RM收到任务后，由ApplicationsManager向NM申请Container，并根据Client提供的ContainerLaunchContext启动ApplicationMaster。本篇代码已上传Github：Github-MyApplicationMaster一）整体流程1&2、启动NMClient和RMClient在AM中需要分别启动NMClient和RMClient进行通信。两个客户端中都
上一篇文章对ResourceManager整体架构和功能进行了讲述。本篇将对RM中管理ApplicationMaster的部分进行深入的讲解。下面将会介绍RM与AM整体通信执行流程，并对RM中涉及的对应服务进行具体讲解。为了更好的学习本篇知识，建议先熟悉以下知识点，不了解的部分可翻到前面对应的文章进行学习：RPC（2-2Yarn基础库-底层通信库RPC）事件处理器（2-3Yarn基础库-服务库与事件库）AM程序执行流程（3-3YarnApplicationMaster编写）一、AM执行流程客户端提交任务到RM后，启动AM到任务完成的流程如下所示：各个步骤具体执行操作请对应下面各服务讲解。二、A
上一篇文章对ResourceManager整体架构和功能进行了讲述。本篇将对RM中管理ApplicationMaster的部分进行深入的讲解。下面将会介绍RM与AM整体通信执行流程，并对RM中涉及的对应服务进行具体讲解。为了更好的学习本篇知识，建议先熟悉以下知识点，不了解的部分可翻到前面对应的文章进行学习：RPC（2-2Yarn基础库-底层通信库RPC）事件处理器（2-3Yarn基础库-服务库与事件库）AM程序执行流程（3-3YarnApplicationMaster编写）一、AM执行流程客户端提交任务到RM后，启动AM到任务完成的流程如下所示：各个步骤具体执行操作请对应下面各服务讲解。二、A
本篇继续对RM中管理NodeManager的部分进行深入的讲解。主要有三个部分：检查NM是否存活；管理NM的黑白名单；响应NMRPC请求。一、简介在RM的主从结构中，最主要的就是RM和NM之间的主从结构。RM作为「管理员」，管理下面多个NM节点。如何检测NM是否存活，划分黑白名单，以及如何相应NMRPC请求，将在下面进行详细介绍。二、NM管理主要组成一）NMLivelinessMonitor检测NM活性的服务，是否有心跳当前正在运行的NM会保存在RM的一个数据结构中，NMLivelinessMonitor就周期遍历，若一个NM在一定时间（默认10分钟）未汇报心跳，则任务其挂了NM被认为挂了后，
本篇继续对RM中管理NodeManager的部分进行深入的讲解。主要有三个部分：检查NM是否存活；管理NM的黑白名单；响应NMRPC请求。一、简介在RM的主从结构中，最主要的就是RM和NM之间的主从结构。RM作为「管理员」，管理下面多个NM节点。如何检测NM是否存活，划分黑白名单，以及如何相应NMRPC请求，将在下面进行详细介绍。二、NM管理主要组成一）NMLivelinessMonitor检测NM活性的服务，是否有心跳当前正在运行的NM会保存在RM的一个数据结构中，NMLivelinessMonitor就周期遍历，若一个NM在一定时间（默认10分钟）未汇报心跳，则任务其挂了NM被认为挂了后，
在YARN中，Application是指应用程序，它可能启动多个运行实例，每个运行实例由—个ApplicationMaster与一组该ApplicationMaster启动的任务组成，它拥有名称、队列、优先级等属性，是一个比较宽泛的概念，可以是一个MepReduce作业、一个DAG应用程序等。YARN中Application管理涉及应用程序的权限管理、启动与关闭、生命周期管理等，本节只介绍最基本的管理内容，比如权限管理、启动与关闭等，而生命周期管理则放到下一节中介绍。一、ApplicationACLsManagerApplicationACLsManager负责管理应用程序访问权限查看权限程序
