一、HDFS总体结构示意图 1． 图中展现了整个HDFS三个重要角色：NameNode、DataNode和Client1) NameNode可以看作是分布式文件系统中的管理者，主要负责管理文件系统的命名空间、集群配置信息和存储块的复制等。NameNode会将文件系统的Meta-data存储在内存中，这些信息主要包括了文件信息、每一个文件对应的文件块的信息和每一个文件块在DataNode的信息等。2) DataNode是文件存储的基本单元，它将Block存储在本地文件系统中，保存了Block的Meta-data，同时周期性地将所有存在的Block信息发送给NameNode
经过几天的测试，hadoop分布式系统搭建完毕。首先说一下这几天对hadoop理论知识的理解，然后说一下安装及碰到的问题。有图有真相http://192.168.0.20:50070/dfshealth.jsp 第一：理论知识： 什么是hadoop： 由三部分组成：HDFS，MapReduce和Hbase。 维基百科这样说：一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。这里面关键就是高速运算和海量存储。我们首先讲海量存储，这个比较有意思，一会儿再说高速运算。
Apache的开源项目hadoop，作为一个分布式存储和计算系统，已经被业界广泛应用。很多大型企业都有了各自基于hadoop的应用和相关扩展。当1000+以上个节点的hadoop集群变得常见时，集群自身的相关信息如何收集和分析呢？针对这个问题，Apache同样提出了相应的解决方案，那就是chukwa。述chukwa的官方网站是这样描述自己的：chukwa是一个开源的用于监控大型分布式系统的数据收集系统。这是构建在hadoop的hdfs和map/reduce框架之上的，继承了hadoop的可伸缩性和鲁棒性。Chukwa还包含了一个强大和灵活的工具集，可用于展示、监控和分析已收集的数据。在一些网站
一、HDFS总体结构示意图 1． 图中展现了整个HDFS三个重要角色：NameNode、DataNode和Client1) NameNode可以看作是分布式文件系统中的管理者，主要负责管理文件系统的命名空间、集群配置信息和存储块的复制等。NameNode会将文件系统的Meta-data存储在内存中，这些信息主要包括了文件信息、每一个文件对应的文件块的信息和每一个文件块在DataNode的信息等。2) DataNode是文件存储的基本单元，它将Block存储在本地文件系统中，保存了Block的Meta-data，同时周期性地将所有存在的Block信息发送给NameNode
经过几天的测试，hadoop分布式系统搭建完毕。首先说一下这几天对hadoop理论知识的理解，然后说一下安装及碰到的问题。有图有真相http://192.168.0.20:50070/dfshealth.jsp 第一：理论知识： 什么是hadoop： 由三部分组成：HDFS，MapReduce和Hbase。 维基百科这样说：一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。这里面关键就是高速运算和海量存储。我们首先讲海量存储，这个比较有意思，一会儿再说高速运算。
