目录1.3ApacheHadoop的重要组成1.3ApacheHadoop的重要组成Hadoop=HDFS(分布式文件系统)+MapReduce(分布式计算框架)+Yarn(资源协调框架)+Common模块HadoopHDFS：（HadoopDistributeFileSystem）一个高可靠、高吞吐量的分布式文件系统比如：100T数据存储，“分而治之”。分：拆分-->数据切割，100T数据拆分为10G一个数据块由一个电脑节点存储这个数据块。数据切割、制作副本、分散储存图中涉及到几个角色NameNode（nn）：存储文件的元数据，比如文件名、文件目录结构、文件属性（生成时间、副本数、文件权限）
目录1.3ApacheHadoop的重要组成1.3ApacheHadoop的重要组成Hadoop=HDFS(分布式文件系统)+MapReduce(分布式计算框架)+Yarn(资源协调框架)+Common模块HadoopHDFS：（HadoopDistributeFileSystem）一个高可靠、高吞吐量的分布式文件系统比如：100T数据存储，“分而治之”。分：拆分-->数据切割，100T数据拆分为10G一个数据块由一个电脑节点存储这个数据块。数据切割、制作副本、分散储存图中涉及到几个角色NameNode（nn）：存储文件的元数据，比如文件名、文件目录结构、文件属性（生成时间、副本数、文件权限）
目录1.2Hadoop简介1.2.1什么是Hadoop1.2.2Hadoop的起源1.2.3Hadoop的特点1.2.4Hadoop的发行版本1.2.5ApacheHadoop版本更迭1.2.6第六节Hadoop的优缺点1.2Hadoop简介1.2.1什么是Hadoop Hadoop是一个适合大数据的分布式存储和计算平台 如前所述，狭义上说Hadoop就是一个框架平台，广义上讲Hadoop代表大数据的一个技术生态圈，包括很多其他软件框架 Hadoop生态圈技术栈 Hadoop（HDFS+MapReduce+Yarn） Hive数据仓库工具 HBase海量列式非关系型数据库 Flu
目录1.2Hadoop简介1.2.1什么是Hadoop1.2.2Hadoop的起源1.2.3Hadoop的特点1.2.4Hadoop的发行版本1.2.5ApacheHadoop版本更迭1.2.6第六节Hadoop的优缺点1.2Hadoop简介1.2.1什么是Hadoop Hadoop是一个适合大数据的分布式存储和计算平台 如前所述，狭义上说Hadoop就是一个框架平台，广义上讲Hadoop代表大数据的一个技术生态圈，包括很多其他软件框架 Hadoop生态圈技术栈 Hadoop（HDFS+MapReduce+Yarn） Hive数据仓库工具 HBase海量列式非关系型数据库 Flu
目录1hadoop-最全最完整的保姆级的java大数据学习资料1.1大数据简介1.1.1大数据的定义1.1.2大数据的特点1.1.3大数据的应用场景1.1.4大数据的发展趋势及职业路线1.4.4.1大数据发展趋势1.4.4.2大数据职业发展路线1hadoop-最全最完整的保姆级的java大数据学习资料大数据技术解决的是什么问题？大数据技术解决的主要是海量数据的存储和计算。Hadoop的广义和狭义之分狭义的Hadoop:指的是一个框架，Hadoop是由三部分组成：HDFS：分布式文件系统-->存储；MapReduce:分布式离线计算框架-->计算；Yarn:资源调度框架广义的Hadoop:广义H
目录1hadoop-最全最完整的保姆级的java大数据学习资料1.1大数据简介1.1.1大数据的定义1.1.2大数据的特点1.1.3大数据的应用场景1.1.4大数据的发展趋势及职业路线1.4.4.1大数据发展趋势1.4.4.2大数据职业发展路线1hadoop-最全最完整的保姆级的java大数据学习资料大数据技术解决的是什么问题？大数据技术解决的主要是海量数据的存储和计算。Hadoop的广义和狭义之分狭义的Hadoop:指的是一个框架，Hadoop是由三部分组成：HDFS：分布式文件系统-->存储；MapReduce:分布式离线计算框架-->计算；Yarn:资源调度框架广义的Hadoop:广义H
目录1.5.6NN与2NN1.5.6.1HDFS元数据管理机制1.5.6.2Fsimage与Edits文件解析1.5.6.2.1Fsimage文件内容1.5.6.2.2Edits文件内容1.5.6.3checkpoint周期1.5.6NN与2NN1.5.6.1HDFS元数据管理机制问题1：NameNode如何管理和存储元数据？计算机中存储数据两种：内存或者是磁盘元数据存储磁盘：存储磁盘无法面对客户端对元数据信息的任意的快速低延迟的响应，但是安全性高元数据存储内存：元数据存放内存，可以高效的查询以及快速响应客户端的查询请求，数据保存在内存，如果断点，内存中的数据全部丢失。解决方案：内存+磁盘；N
目录1.5.6NN与2NN1.5.6.1HDFS元数据管理机制1.5.6.2Fsimage与Edits文件解析1.5.6.2.1Fsimage文件内容1.5.6.2.2Edits文件内容1.5.6.3checkpoint周期1.5.6NN与2NN1.5.6.1HDFS元数据管理机制问题1：NameNode如何管理和存储元数据？计算机中存储数据两种：内存或者是磁盘元数据存储磁盘：存储磁盘无法面对客户端对元数据信息的任意的快速低延迟的响应，但是安全性高元数据存储内存：元数据存放内存，可以高效的查询以及快速响应客户端的查询请求，数据保存在内存，如果断点，内存中的数据全部丢失。解决方案：内存+磁盘；N
1.什么是GitGit是一个分布式的版本控制软件,Git在每个用户都有一个完整的服务器，然后有一个中央服务器，用户可以将代码提交到本地，没有网络也可以提交到本地，然后在有网络的时候提交到中央服务器，这样就方便了开发者，而相比SVS和SVN都是集中式的版本控制系统，工作的时候需要先从中央服务器获取作新的代码，改完后需要提交，如果是一个很大的文件则需要足够快的网络才能完成提交。而使用分布式的版本控制系统，每个用户都是一个完整的版本库，即使没有中央服务器也可以提交代码或者回滚，最终再把改好的代码提交至中央服务器进行合并即可。软件，类似于qq、office等安装到电脑才能使用的工具。版本控制，类似于毕
1.什么是GitGit是一个分布式的版本控制软件,Git在每个用户都有一个完整的服务器，然后有一个中央服务器，用户可以将代码提交到本地，没有网络也可以提交到本地，然后在有网络的时候提交到中央服务器，这样就方便了开发者，而相比SVS和SVN都是集中式的版本控制系统，工作的时候需要先从中央服务器获取作新的代码，改完后需要提交，如果是一个很大的文件则需要足够快的网络才能完成提交。而使用分布式的版本控制系统，每个用户都是一个完整的版本库，即使没有中央服务器也可以提交代码或者回滚，最终再把改好的代码提交至中央服务器进行合并即可。软件，类似于qq、office等安装到电脑才能使用的工具。版本控制，类似于毕
