1、基本环境说明ip: 192.168.115.149 主机名：node1 CentOSLinuxrelease7.9.2009，内核版本为3.10.0-1160.81.1.el7.x86_64ip: 192.168.115.151 主机名：node2 CentOSLinuxrelease7.9.2009，内核版本为3.10.0-1160.81.1.el7.x86_64ip: 192.168.115.152 主机名：node3 CentOSLinuxrelease7.9.2009，内核版本为3.10.0-1160.81.1.el7.x86_642、安装说明安装方式：yum
HDFS简介一、什么是HDFSHDFS全称是HadoopDistributedFileSystem，简称HDFS。这是一个分布式文件系统，当数据规模大小超过一台物理计算机的存储能力时，就有必要进行分区并存储到若干台物理计算机上。管理网络中跨多台计算机的文件系统称为分布式文件系统。Hadoop的文件系统是一个抽象的概念，java的抽象类是org.apache.hadoop.fs.FileSystem，在创建一个FileSystem的时候，FileSystem使用文件系统URI的Schema作为查询配置或者SPI寻找实现类（类似JDBC）。FileSystem有很多实现，HDFS只是其中的一个实现
HDFS简介一、什么是HDFSHDFS全称是HadoopDistributedFileSystem，简称HDFS。这是一个分布式文件系统，当数据规模大小超过一台物理计算机的存储能力时，就有必要进行分区并存储到若干台物理计算机上。管理网络中跨多台计算机的文件系统称为分布式文件系统。Hadoop的文件系统是一个抽象的概念，java的抽象类是org.apache.hadoop.fs.FileSystem，在创建一个FileSystem的时候，FileSystem使用文件系统URI的Schema作为查询配置或者SPI寻找实现类（类似JDBC）。FileSystem有很多实现，HDFS只是其中的一个实现
Hadoop版本：2.9.2什么是机架感知通常大型Hadoop集群是以机架的形式来组织的，同一个机架上的不同节点间的网络状况比不同机架之间的更为理想，NameNode设法将数据块副本保存在不同的机架上以提高容错性。HDFS不能够自动判断集群中各个DataNode的网络状况情况，Hadoop允许集群的管理员通过配置net.topology.script.file.name参数来确定节点所处的机架，配置文件提供了ip到rackid的翻译。NameNode通过这个配置知道集群中各个DataNode机器的rackid。如果net.topology.script.file.name没有设定，则每个ip都
Hadoop版本：2.9.2什么是机架感知通常大型Hadoop集群是以机架的形式来组织的，同一个机架上的不同节点间的网络状况比不同机架之间的更为理想，NameNode设法将数据块副本保存在不同的机架上以提高容错性。HDFS不能够自动判断集群中各个DataNode的网络状况情况，Hadoop允许集群的管理员通过配置net.topology.script.file.name参数来确定节点所处的机架，配置文件提供了ip到rackid的翻译。NameNode通过这个配置知道集群中各个DataNode机器的rackid。如果net.topology.script.file.name没有设定，则每个ip都
目录一、Hadoop概述二、HDFS详解1）HDFS概述HDFS的设计特点2）HDFS组成1、Client2、NameNode（NN）3、DataNode（DN）4、SecondaryNameNode（2NN）3）HDFS具体工作原理1、两个核心的数据结构:Fslmage和EditLog2、工作流程3、HDFS读文件流程4、HDFS文件写入流程三、Yarn详解1）Yarn概述2）YARN架构组件1、ResourceManager(RM)2、ApplicationMaster(AM)3、NodeManager(NM)4、Container3）YARN运行流程4）YARN三种资源调度器1、FIFO
目录一、Hadoop概述二、HDFS详解1）HDFS概述HDFS的设计特点2）HDFS组成1、Client2、NameNode（NN）3、DataNode（DN）4、SecondaryNameNode（2NN）3）HDFS具体工作原理1、两个核心的数据结构:Fslmage和EditLog2、工作流程3、HDFS读文件流程4、HDFS文件写入流程三、Yarn详解1）Yarn概述2）YARN架构组件1、ResourceManager(RM)2、ApplicationMaster(AM)3、NodeManager(NM)4、Container3）YARN运行流程4）YARN三种资源调度器1、FIFO
redis-cluster是一个高可用，可分片的分布式redis集群解决方案，建议使用springboot2.3及以上版本的脚手架，如果是springboot2.3的application.yml相关配置spring:redis:database:0#数据库，每个库由16384（0~16383）槽位组成，实现了库的分片password:xxx@xxx#密码timeout:50000#连接超时时间cluster:nodes:-192.168.4.26:6379-192.168.4.26:6380-192.168.4.26:6479-192.168.4.26:6480-192.168.4.26:6
redis-cluster是一个高可用，可分片的分布式redis集群解决方案，建议使用springboot2.3及以上版本的脚手架，如果是springboot2.3的application.yml相关配置spring:redis:database:0#数据库，每个库由16384（0~16383）槽位组成，实现了库的分片password:xxx@xxx#密码timeout:50000#连接超时时间cluster:nodes:-192.168.4.26:6379-192.168.4.26:6380-192.168.4.26:6479-192.168.4.26:6480-192.168.4.26:6
简介：Redis的集群模式实现了数据的分布式存储，每个节点存储不同的数据，实现数据动态扩容。优点：无中心节点架构，数据按照slot分布在多个节点上缺点：不支持多数据库 1、安装包准备 1、redis-4.0.1.tar.gz redis源文件 下载地址：https://download.redis.io/releases/redis-4.0.1.tar.gz 2、ruby-2.5.9.tar.gz ruby安装包2、安装机器准备 三台机器：192.168.43.120 192.168.43.130 192.168.43.140 3主3从，每台机器两个节点 3、目录创建和redis
