一、HDFS总体结构示意图  1． 图中展现了整个HDFS三个重要角色：NameNode、DataNode和Client1)      NameNode可以看作是分布式文件系统中的管理者，主要负责管理文件系统的命名空间、集群配置信息和存储块的复制等。NameNode会将文件系统的Meta-data存储在内存中，这些信息主要包括了文件信息、每一个文件对应的文件块的信息和每一个文件块在DataNode的信息等。2)      DataNode是文件存储的基本单元，它将Block存储在本地文件系统中，保存了Block的Meta-data，同时周期性地将所有存在的Block信息发送给NameNode

经过几天的测试，hadoop分布式系统搭建完毕。首先说一下这几天对hadoop理论知识的理解，然后说一下安装及碰到的问题。有图有真相http://192.168.0.20:50070/dfshealth.jsp 第一：理论知识：     什么是hadoop：        由三部分组成：HDFS，MapReduce和Hbase。        维基百科这样说：一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。这里面关键就是高速运算和海量存储。我们首先讲海量存储，这个比较有意思，一会儿再说高速运算。    

Hadoop版本：2.9.2什么是机架感知通常大型Hadoop集群是以机架的形式来组织的，同一个机架上的不同节点间的网络状况比不同机架之间的更为理想，NameNode设法将数据块副本保存在不同的机架上以提高容错性。HDFS不能够自动判断集群中各个DataNode的网络状况情况，Hadoop允许集群的管理员通过配置​​net.topology.script.file.name​​​参数来确定节点所处的机架，配置文件提供了ip到rackid的翻译。NameNode通过这个配置知道集群中各个DataNode机器的rackid。如果​​net.topology.script.file.name​​没有

SparkStreaming是构建在SparkCore的RDD基础之上的，与此同时SparkStreaming引入了一个新的概念：DStream（DiscretizedStream，离散化数据流)，表示连续不断的数据流。DStream抽象是SparkStreaming的流处理模型，在内部实现上，SparkStreaming会对输入数据按照时间间隔（如1秒）分段，每一段数据转换为Spark中的RDD，这些分段就是Dstream，并且对DStream的操作都最终转变为对相应的RDD的操作。SparkSQL是Spark用于结构化数据(structureddata)处理的Spark模块。SparkSQ

Hadoop版本：2.9.2什么是机架感知通常大型Hadoop集群是以机架的形式来组织的，同一个机架上的不同节点间的网络状况比不同机架之间的更为理想，NameNode设法将数据块副本保存在不同的机架上以提高容错性。HDFS不能够自动判断集群中各个DataNode的网络状况情况，Hadoop允许集群的管理员通过配置​​net.topology.script.file.name​​​参数来确定节点所处的机架，配置文件提供了ip到rackid的翻译。NameNode通过这个配置知道集群中各个DataNode机器的rackid。如果​​net.topology.script.file.name​​没有

SparkStreaming是构建在SparkCore的RDD基础之上的，与此同时SparkStreaming引入了一个新的概念：DStream（DiscretizedStream，离散化数据流)，表示连续不断的数据流。DStream抽象是SparkStreaming的流处理模型，在内部实现上，SparkStreaming会对输入数据按照时间间隔（如1秒）分段，每一段数据转换为Spark中的RDD，这些分段就是Dstream，并且对DStream的操作都最终转变为对相应的RDD的操作。SparkSQL是Spark用于结构化数据(structureddata)处理的Spark模块。SparkSQ