一、HDFS总体结构示意图  1． 图中展现了整个HDFS三个重要角色：NameNode、DataNode和Client1)      NameNode可以看作是分布式文件系统中的管理者，主要负责管理文件系统的命名空间、集群配置信息和存储块的复制等。NameNode会将文件系统的Meta-data存储在内存中，这些信息主要包括了文件信息、每一个文件对应的文件块的信息和每一个文件块在DataNode的信息等。2)      DataNode是文件存储的基本单元，它将Block存储在本地文件系统中，保存了Block的Meta-data，同时周期性地将所有存在的Block信息发送给NameNode

 一、HDFS总体结构示意图  1． 图中展现了整个HDFS三个重要角色：NameNode、DataNode和Client1)      NameNode可以看作是分布式文件系统中的管理者，主要负责管理文件系统的命名空间、集群配置信息和存储块的复制等。NameNode会将文件系统的Meta-data存储在内存中，这些信息主要包括了文件信息、每一个文件对应的文件块的信息和每一个文件块在DataNode的信息等。2)      DataNode是文件存储的基本单元，它将Block存储在本地文件系统中，保存了Block的Meta-data，同时周期性地将所有存在的Block信息发送给NameNode

关注公众号：大数据技术派，回复“资料”，领取资料，学习大数据技术。本文首发于我的个人博客：Hadoop面试题总结（二）——HDFS1、HDFS中的block默认保存几份？默认保存3份2、HDFS默认BlockSize是多大？默认64MB3、负责HDFS数据存储的是哪一部分？DataNode负责数据存储4、SecondaryNameNode的目的是什么？他的目的使帮助NameNode合并编辑日志，减少NameNode启动时间5、文件大小设置，增大有什么影响？HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置参数(dfs.blocksize)来规定，默认大小在hadoop2.x

关注公众号：大数据技术派，回复“资料”，领取资料，学习大数据技术。本文首发于我的个人博客：Hadoop面试题总结（二）——HDFS1、HDFS中的block默认保存几份？默认保存3份2、HDFS默认BlockSize是多大？默认64MB3、负责HDFS数据存储的是哪一部分？DataNode负责数据存储4、SecondaryNameNode的目的是什么？他的目的使帮助NameNode合并编辑日志，减少NameNode启动时间5、文件大小设置，增大有什么影响？HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置参数(dfs.blocksize)来规定，默认大小在hadoop2.x

前言：通常情况下，我们将Kafka的日志数据通过logstash订阅输出到ES，然后用Kibana来做可视化分析，这就是我们通常用的ELK日志分析模式。但是基于ELK的日志分析，通常比较常用的是实时分析，日志存个十天半个月都会删掉。那么在一些情况下，我需要将日志数据也存一份到我HDFS，积累到比较久的时间做半年、一年甚至更长时间的大数据分析。下面就来说如何最简单的通过logstash将kafka中的数据订阅一份到hdfs。一：安装logstash（下载tar包安装也行，我直接yum装了）#yum install logstash-2.1.1二：从github上克隆代码#git clone  h