最近想学习如何使用hdfs来存储文件，在网上学习了一下，明确了HDFS（HadoopDistributeFileSystem分布式存储）、mapReduce（分布式计算）、YARN（YetAnotherResourceNegotiator资源管理）是hadoop的三大组成部分，要想使用hdfs，必须搭建hadoop集群，为此展开了近一个星期的摸索。网上的教程有很多，但很多都写的不全，自己也是一直踩坑，无奈之下只好对着官方文档一个个看，逐渐理解并明确了部署方法，在经过反复测试确保正常之后，决定在此记录一下，以便与大家交流分享。1、集群规划1.1hadoop版本hadoop版本不同，配置的内容也不
最近想学习如何使用hdfs来存储文件，在网上学习了一下，明确了HDFS（HadoopDistributeFileSystem分布式存储）、mapReduce（分布式计算）、YARN（YetAnotherResourceNegotiator资源管理）是hadoop的三大组成部分，要想使用hdfs，必须搭建hadoop集群，为此展开了近一个星期的摸索。网上的教程有很多，但很多都写的不全，自己也是一直踩坑，无奈之下只好对着官方文档一个个看，逐渐理解并明确了部署方法，在经过反复测试确保正常之后，决定在此记录一下，以便与大家交流分享。1、集群规划1.1hadoop版本hadoop版本不同，配置的内容也不
客户端环境准备hadoop的Windows依赖文件夹，拷贝hadoop-3.1.0到非中文路径（比如d:\）。配置HADOOP_HOME环境变量配置Path环境变量。不能放在包含有空格的目录下，cmd输入hadoop显示此时不应有\hadoop-3.0.0\bin\。我放在E:\ProgramFiles(x86)\hadoop-3.0.0\bin\中，就出现错误验证Hadoop环境变量是否正常。双击winutils.exe，如果报如下错误。说明缺少微软运行库（正版系统往往有这个问题）。里面有对应的微软运行库安装包双击安装即可。配置Path环境变量。然后重启电脑如果上述操作后在后面代码执行的过程
1.检查是否启动集群服务检查是否启动集群服务，没有启动集群是无法打开web界面的输入下面命令查询是否启动服务jps如果未打开则输入如下命令：在主节点机器上上输入 hadoop-daemon.shstartnamenode然后在各个节点机器上输入hadoop-daemon.shstartdatanode2.检查是否关闭防火墙检查Linux机器的防火墙状态，命令如下systemctlstatusfirewalld.service如果防火墙没有关闭，依次执行下面命令关闭防火墙 1.关闭防火墙systemctlstopfirewalld.service2.设置为开机关闭防火墙systemctldisa
1.检查是否启动集群服务检查是否启动集群服务，没有启动集群是无法打开web界面的输入下面命令查询是否启动服务jps如果未打开则输入如下命令：在主节点机器上上输入 hadoop-daemon.shstartnamenode然后在各个节点机器上输入hadoop-daemon.shstartdatanode2.检查是否关闭防火墙检查Linux机器的防火墙状态，命令如下systemctlstatusfirewalld.service如果防火墙没有关闭，依次执行下面命令关闭防火墙 1.关闭防火墙systemctlstopfirewalld.service2.设置为开机关闭防火墙systemctldisa
Hadoop集群正常启动后，它默认开放了两个端口9870和8088，分别用于监控HDFS集群和YARN集群。通过UI界面可以方便地进行集群的管理和查看，只需要在本地操作系统的浏览器输入集群服务的IP和对应的端口号即可访问查看HDFS集群状态在浏览器里访问http://master:9870 （如果你有同名的master，把master改为ip地址） 不能通过主机名master加端口9870的方式，原因在于没有在hosts文件里IP与主机名的映射，现在只能通过IP地址加端口号的方式访问：http://192.168.1.101:9870 修改宿主机的C:\Windows\System32\dr
目录写在前面一、创建虚拟机，安装Centos二、VMwareVMnet8模式共享主机网络配置三、克隆集群节点HadoopSlave1与HadoopSlave2四、Linux系统配置五、Hadoop的部署配置六、Hadoop集群的启动写在前面 搭建Hadoop集群的过程比较复杂，本文旨在给大家一个参考过程，也欢迎大家在评论区交流自己的心得体会及遇到的问题。 搭建Haoop分布式集群所需环境：VMware，CentOS，Hadoop，JDK，Xshell。整个过程在VMware虚拟机中完成。如果大家有需要Centos镜像文件，在评论区评论，可共享。 原创不易，大家觉得本文能帮助到大家
目录写在前面一、创建虚拟机，安装Centos二、VMwareVMnet8模式共享主机网络配置三、克隆集群节点HadoopSlave1与HadoopSlave2四、Linux系统配置五、Hadoop的部署配置六、Hadoop集群的启动写在前面 搭建Hadoop集群的过程比较复杂，本文旨在给大家一个参考过程，也欢迎大家在评论区交流自己的心得体会及遇到的问题。 搭建Haoop分布式集群所需环境：VMware，CentOS，Hadoop，JDK，Xshell。整个过程在VMware虚拟机中完成。如果大家有需要Centos镜像文件，在评论区评论，可共享。 原创不易，大家觉得本文能帮助到大家
你准备好面试了吗?这里有一些面试中可能会问到的问题以及相对应的答案。如果你需要更多的面试经验和面试题，关注一下"张飞的猪大数据分享"吧，公众号会不定时的分享相关的知识和资料。目录1、HDFS中的block默认保存几份？2、HDFS默认BlockSize是多大？3、负责HDFS数据存储的是哪一部分？4、SecondaryNameNode的目的是什么？5、文件大小设置，增大有什么影响？6、hadoop的块大小，从哪个版本开始是128M7、HDFS的存储机制（☆☆☆☆☆）8、secondarynamenode工作机制（☆☆☆☆☆）9、NameNode与SecondaryNameNode的区别与联系？
概述Hadoop分布式文件系统（HDFS）为共享大部分POSIX模型的文件和目录实现权限模型。每个文件和目录都与一个所有者和一个组相关联。该文件或目录对作为所有者的用户，作为该组成员的其他用户以及对所有其他用户具有单独的权限。对于文件，需要r权限才能读取文件，而w权限才能写入或附加到文件。对于目录，需要r权限才能列出目录的内容，需要w权限来创建或删除文件或目录，并且需要x权限来访问目录的子级。客户端在进行每次文件操时，系统会从用户身份认证和数据访问授权两个环节进行验证。客户端的操作请求会首先通过用户身份验证机制来获得“凭证”（类似于身份证书）,HDFS根据此“凭证”分辨出合法的用户名;然后HD
