1、概述 Hadoop2.X中的HDFS(Vsersion2.0)相比于Hadoop1.X增加了两个重要功能，HA和Federation。HA解决了Hadoop1.X Namenode中一直存在的单点故障问题，HA策略通过热备的方式为主NameNode提供一个备用者，并且这个备用者的状态一直和主Namenode的元数据保持一致，一旦主NameNode挂了，备用NameNode可以立马转换变换为主NameNode，从而提供不间断的服务。另外，Federation特性，主要是允许一个HDFS集群中存在多个NameNode同时对外提供服务，这些NameNode分管一部分目录（水平切分），彼此
1、mapper和reducerMapReduce对数据的处理分为两个阶段：map阶段和reduce阶段，这两个阶段分别由用户开发的map函数和reduce函数完成，在MapReduce运行环境中运行时，它们也分别被称为mapper和reducer。键值对(key-valuepair)是MapReduce的基础数据结构，mapper和reducer读入和输出的数据均为键值对。MapReduce中，“键”和“值”可以是基础类型数据，如整数、浮点数、字符串或未经加工的字节数据，也可以是任意形式的复杂数据类型。程序员可以自行定义所需的数据类型，也可借助于ProtocolBuffer、Thrift或A
高速增长的数据量和日益增加的竞争压力，让越来越多的企业开始思考如何挖掘这些数据的价值。传统的BI系统、数据仓库和数据库系统都不能很好地处理这些数据，原因包括：1）数据量太大，传统数据库不能有效存储并维持可以接受的性能；2）新产生的数据往往是非结构化的，而传统方式都是为处理结构化数据而设计的；3）传统数据处理所需的硬件往往相对昂贵，随着数据量增加而继续用传统方式处理的成本让很多企业不能承受。为此，倍受互联网界推崇的ApacheHadoop这朵奇葩日益吸引了企业界的目光，大量企业都在思考如何把Hadoop这个美丽的新娘娶回自己的数据中心。不过，传统的企业数据中心要想娶回这个妖艳新娘可不是那么简单
1、概述 Hadoop2.X中的HDFS(Vsersion2.0)相比于Hadoop1.X增加了两个重要功能，HA和Federation。HA解决了Hadoop1.X Namenode中一直存在的单点故障问题，HA策略通过热备的方式为主NameNode提供一个备用者，并且这个备用者的状态一直和主Namenode的元数据保持一致，一旦主NameNode挂了，备用NameNode可以立马转换变换为主NameNode，从而提供不间断的服务。另外，Federation特性，主要是允许一个HDFS集群中存在多个NameNode同时对外提供服务，这些NameNode分管一部分目录（水平切分），彼此
1、mapper和reducerMapReduce对数据的处理分为两个阶段：map阶段和reduce阶段，这两个阶段分别由用户开发的map函数和reduce函数完成，在MapReduce运行环境中运行时，它们也分别被称为mapper和reducer。键值对(key-valuepair)是MapReduce的基础数据结构，mapper和reducer读入和输出的数据均为键值对。MapReduce中，“键”和“值”可以是基础类型数据，如整数、浮点数、字符串或未经加工的字节数据，也可以是任意形式的复杂数据类型。程序员可以自行定义所需的数据类型，也可借助于ProtocolBuffer、Thrift或A
高速增长的数据量和日益增加的竞争压力，让越来越多的企业开始思考如何挖掘这些数据的价值。传统的BI系统、数据仓库和数据库系统都不能很好地处理这些数据，原因包括：1）数据量太大，传统数据库不能有效存储并维持可以接受的性能；2）新产生的数据往往是非结构化的，而传统方式都是为处理结构化数据而设计的；3）传统数据处理所需的硬件往往相对昂贵，随着数据量增加而继续用传统方式处理的成本让很多企业不能承受。为此，倍受互联网界推崇的ApacheHadoop这朵奇葩日益吸引了企业界的目光，大量企业都在思考如何把Hadoop这个美丽的新娘娶回自己的数据中心。不过，传统的企业数据中心要想娶回这个妖艳新娘可不是那么简单
