job提交阶段1、准备好待处理文本。2、客户端submit()前，获取待处理数据的信息，然后根据参数配置，形成一个任务分配的规划。3、客户端向Yarn请求创建MrAppMaster并提交切片等相关信息：job.split、wc.jar、job.xml。Yarn调用ResourceManager来创建MrAppMaster，而MrAppMaster则会根据切片的个数来创建MapTask。其中切片规划：InputFormat（默认为TextInputFormat）通过getSplits方法对输入目录中的文件进行逻辑切片，并序列化成job.split文件。默认情况下，HDFS上的一个block对应一
1导引我们在博客《Hadoop:单词计数(WordCount)的MapReduce实现》中学习了如何用Hadoop-MapReduce实现单词计数，现在我们来看如何用Spark来实现同样的功能。2.Spark的MapReudce原理Spark框架也是MapReduce-like模型，采用“分治-聚合”策略来对数据分布进行分布并行处理。不过该框架相比Hadoop-MapReduce，具有以下两个特点：对大数据处理框架的输入/输出，中间数据进行建模，将这些数据抽象为统一的数据结构命名为弹性分布式数据集(ResilientDistributedDataset)，并在此数据结构上构建了一系列通用的数据
1导引我们在博客《Hadoop:单词计数(WordCount)的MapReduce实现》中学习了如何用Hadoop-MapReduce实现单词计数，现在我们来看如何用Spark来实现同样的功能。2.Spark的MapReudce原理Spark框架也是MapReduce-like模型，采用“分治-聚合”策略来对数据分布进行分布并行处理。不过该框架相比Hadoop-MapReduce，具有以下两个特点：对大数据处理框架的输入/输出，中间数据进行建模，将这些数据抽象为统一的数据结构命名为弹性分布式数据集(ResilientDistributedDataset)，并在此数据结构上构建了一系列通用的数据
1.Map与Reduce过程1.1Map过程首先，Hadoop会把输入数据划分成等长的输入分片(inputsplit)或分片发送到MapReduce。Hadoop为每个分片创建一个map任务，由它来运行用户自定义的map函数以分析每个分片中的记录。在我们的单词计数例子中，输入是多个文件，一般一个文件对应一个分片，如果文件太大则会划分为多个分片。map函数的输入以形式做为输入，value为文件的每一行，key为该行在文件中的偏移量(一般我们会忽视)。这里map函数起到的作用为将每一行进行分词为多个word，并在context中写入以代表该单词出现一次。map过程的示意图如下：mapper代码编写
1.Map与Reduce过程1.1Map过程首先，Hadoop会把输入数据划分成等长的输入分片(inputsplit)或分片发送到MapReduce。Hadoop为每个分片创建一个map任务，由它来运行用户自定义的map函数以分析每个分片中的记录。在我们的单词计数例子中，输入是多个文件，一般一个文件对应一个分片，如果文件太大则会划分为多个分片。map函数的输入以形式做为输入，value为文件的每一行，key为该行在文件中的偏移量(一般我们会忽视)。这里map函数起到的作用为将每一行进行分词为多个word，并在context中写入以代表该单词出现一次。map过程的示意图如下：mapper代码编写
MapReduceHadoop中将数据切分成块存在HDFS不同的DataNode中，如果想汇总，按照常规想法就是，移动数据到统计程序：先把数据读取到一个程序中，再进行汇总。但是HDFS存的数据量非常大时，对汇总程序所在的服务器将产生巨大压力，并且网络IO也十分消耗资源。为了解决这种问题，MapReduce提出一种想法：将统计程序移动到DataNode，每台DataNode（就近）统计完再汇总，充分利用DataNode的计算资源。YARN的调度决定了MapReduce程序所在的Node。MapReduce过程确保数据存在HDFS上MapReduce提交给ResourceManager（RM），R
MapReduceHadoop中将数据切分成块存在HDFS不同的DataNode中，如果想汇总，按照常规想法就是，移动数据到统计程序：先把数据读取到一个程序中，再进行汇总。但是HDFS存的数据量非常大时，对汇总程序所在的服务器将产生巨大压力，并且网络IO也十分消耗资源。为了解决这种问题，MapReduce提出一种想法：将统计程序移动到DataNode，每台DataNode（就近）统计完再汇总，充分利用DataNode的计算资源。YARN的调度决定了MapReduce程序所在的Node。MapReduce过程确保数据存在HDFS上MapReduce提交给ResourceManager（RM），R
初识MapReduce一、什么是MapReduceMapReduce是一种编程范式，它借助Map将一个大任务分解成多个小任务，再借助Reduce归并Map的结果。MapReduce虽然原理很简单，但是使用MapReduce设计出一个解决问题的应用却不是一件简单的事情。下面通过一个简单的小例子来介绍MapReduce。二、使用MapReduce寻找销售人员业绩最大值《Hadoop权威指南》的例子是寻找天气最大值，需要去下载数据。但是我们并不需要完全复刻他的场景，所以这里用了另外一个例子。假设有一批销售日志数据文件，它的一部分是这样的。66$2021-01-01$555567$2021-01-01
初识MapReduce一、什么是MapReduceMapReduce是一种编程范式，它借助Map将一个大任务分解成多个小任务，再借助Reduce归并Map的结果。MapReduce虽然原理很简单，但是使用MapReduce设计出一个解决问题的应用却不是一件简单的事情。下面通过一个简单的小例子来介绍MapReduce。二、使用MapReduce寻找销售人员业绩最大值《Hadoop权威指南》的例子是寻找天气最大值，需要去下载数据。但是我们并不需要完全复刻他的场景，所以这里用了另外一个例子。假设有一批销售日志数据文件，它的一部分是这样的。66$2021-01-01$555567$2021-01-01
目录一、Hadoop概述二、HDFS详解1）HDFS概述HDFS的设计特点2）HDFS组成1、Client2、NameNode（NN）3、DataNode（DN）4、SecondaryNameNode（2NN）3）HDFS具体工作原理1、两个核心的数据结构:Fslmage和EditLog2、工作流程3、HDFS读文件流程4、HDFS文件写入流程三、Yarn详解1）Yarn概述2）YARN架构组件1、ResourceManager(RM)2、ApplicationMaster(AM)3、NodeManager(NM)4、Container3）YARN运行流程4）YARN三种资源调度器1、FIFO
