一、概述    公司hadoop集群从1.2.1升级到2.2.0已经有一段时间，这篇blog将总结一下我前段时间在升级至hadoop2.2.0版本过程中遇到的一些问题，以及具体的升级步骤。二、升级过程(1)停掉hadoop1.x集群。(2)备份namenode原数据，即备份dfs.namenode.name.dir指向的路径。以免造成由于升级版本带来的风险。(3)下载hadoop-2.2.0解压，用scp将解压后的hadoop-2.2.0复制到各个子节点。修改各个子节点的hadoop用户的配置文件，如果是ubumtu这编辑~/.bash_profile文件，将$HADOOP_HOME指向新版本

一、概述    公司hadoop集群从1.2.1升级到2.2.0已经有一段时间，这篇blog将总结一下我前段时间在升级至hadoop2.2.0版本过程中遇到的一些问题，以及具体的升级步骤。二、升级过程(1)停掉hadoop1.x集群。(2)备份namenode原数据，即备份dfs.namenode.name.dir指向的路径。以免造成由于升级版本带来的风险。(3)下载hadoop-2.2.0解压，用scp将解压后的hadoop-2.2.0复制到各个子节点。修改各个子节点的hadoop用户的配置文件，如果是ubumtu这编辑~/.bash_profile文件，将$HADOOP_HOME指向新版本

Hadoop三大组件：HDFS，MapReduce，Yarn的架构分析和原理1引子        大数据就是将各种数据统一收集起来进行计算，发掘其中的价值。这些数据，既包括数据库的数据，也包括日志数据，还包括专门采集的用户行为数据；既包括企业内部自己产生的数据，也包括从第三方采购的数据，还包括使用网络爬虫获取的各种互联网公开数据...        面对如此庞大的数据，如何存储、如何有效利用大规模的服务器集群处理计算才是大数据技术的核心。2HDFS分布式文件存储架构        我们知道，Google大数据“三驾马车”的第一驾是GFS（Google文件系统），而Hadoop的第一个产品是HD

Hadoop三大组件：HDFS，MapReduce，Yarn的架构分析和原理1引子        大数据就是将各种数据统一收集起来进行计算，发掘其中的价值。这些数据，既包括数据库的数据，也包括日志数据，还包括专门采集的用户行为数据；既包括企业内部自己产生的数据，也包括从第三方采购的数据，还包括使用网络爬虫获取的各种互联网公开数据...        面对如此庞大的数据，如何存储、如何有效利用大规模的服务器集群处理计算才是大数据技术的核心。2HDFS分布式文件存储架构        我们知道，Google大数据“三驾马车”的第一驾是GFS（Google文件系统），而Hadoop的第一个产品是HD