一、准备环境dockersearchhadoopdockerpullsequenceiq/hadoop-dockerdockerimages二、Hadoop集群搭建1.运行hadoop102容器dockerrun--namehadoop102-d-hhadoop102-p9870:9870-p19888:19888-v/opt/data/hadoop:/opt/data/hadoopsequenceiq/hadoop-dockerdockerexec-ithadoop102bash#进入该容器ssh-keygen-trsa#生成密钥，一直回车，有一个根据提示输入ycd/root/.ssh/&&
目录 Redis集群模式1.主从模式2.哨兵模式（Sentinel）2.1.监控功能2.2.master节点的选举 2.3.启动哨兵2.4.测试:3.集群化模式 Redis集群模式系统中只有一台redis服务器是不可靠的，容易出现单点故障。为了避免单点故障，可以使用多台redis服务器组成redis集群。redis支持三种集群模式主从模式哨兵模式集群模式1.主从模式演示：配从不配主：非常简单。准备:一台linux服务。开三个redis服务----通过修改port----6380[主]，6381[从]6382[从]。创建一个文件夹【master-slave】把配置文件复制到【master-sla
1.部署环境主机（条件说明）master192.168.186.128CentOSLinuxrelease7.9.2009(Core)node1192.168.186.129CentOSLinuxrelease7.9.2009(Core)node2192.168.186.130CentOSLinuxrelease7.9.2009(Core)2.系统初始化-所有节点（所有节点执行）hostnamectlset-hostnamemaster&&bash#只在master上执行hostnamectlset-hostnamenode1&&bash#只在node1上执行hostnamectlset-ho
🥇🥇【大数据学习记录篇】-持续更新中~🥇🥇点击传送：大数据学习专栏持续更新中，感谢各位前辈朋友们支持学习~文章目录1.SparkonYarn集群模式介绍2.搭建环境准备3.搭建步骤1.SparkonYarn集群模式介绍ApacheSpark是一个快速的、通用的大数据处理框架，它支持在各种环境中进行分布式数据处理和分析。在Yarn集群模式下搭建Spark环境可以充分利用Hadoop的资源管理和调度能力。本文将介绍如何搭建SparkonYarn集群模式环境，步骤详细，代码量大，准备发车~2.搭建环境准备本次用到的环境有：Java1.8.0_191Spark-2.2.0-bin-hadoop2.7H
问题描述公司新搭了一套ES集群，4台机器，ES版本7.5.0，前期搭建十分顺利，但集群运行一段时间后会出现问题。问题具体体现为节点间通讯异常，集群会重新选主，但选主之后只能通过新的主节点进行集群操作，其他节点无法加入主节点。通过查询ES的日志，我们发现如下报错：[WARN][o.e.c.s.MasterService][node-1]failing[elected-as-master([2]nodesjoined)[{node-2}{lY51PsdiSW-kBOYQFYjQQw}{HtVGqYX2QRyEjVwQJQEVvA}{134.85.21.43}{134.85.21.43:9303}{
环境：CentOS7.9.2009配置要求虚拟机设置至少二核cpu，内存1g一、修改主机名ipa|grep192或ifconfig|grep192查询ip地址vim/etc/hostname修改为node1vim/etc/hosts添加192.168.119.131node1192.168.119.132node2等二、禁用selinux手动关闭setenforce0禁用vim/etc/selinux/config，修改SELINUX值为disabled（重启生效，可以getenforce验证）三、禁用swap分区vim/etc/fstab，注释掉swap那行（重启生效，可以用free-m验证
Keepalived高可用集群高可用集群简介什么是高可用集群？高可用集群(HighAvailability;Cluster，简称HACluster)，是指以减少服务中断时间为目的的服务器集群技术。它通过保护用户的业务程序对外不间断提供的服务，把因软件、硬件、人为造成的故障对业务的影响降低到最小程度。自动切换/故障转移（FailOver）自动切换阶段某一主机如果确认对方故障，则正常主机除继续进行原来的任务还将依据各种容错备援模式接管预先设定的备援作业程序，并进行后续的程序及服务。通俗地说，即当A无法为客户服务时，系统能够自动地切换，使B能够及时地顶上继续为客户提供服务，且客户感觉不到这个为他提供
Redis集群搭建的三种方式@TOC1.Redis主从1.1Redis主从原理和MySQL需要主从复制的原因一样，Redis虽然读取写入的速度都特别快，但是也会产生性能瓶颈，特别是在读压力上，为了分担压力，Redis支持主从复制。Redis的主从结构一主一从，一主多从或级联结构，复制类型可以根据是否是全量而分为全量同步和增量同步。下图为级联结构：1.1.1全量同步Redis全量复制一般发生在slave的初始阶段，这时slave需要将master上的数据都复制一份，具体步骤如下：（1）、slave连接master，发送SYNC命令；（2）、master街道SYNC命令后，执行BGSAVE命令生产
目录安装复制及集群bgsave rdbaofSpringBoot+Redis操作
4台主机+1台nginx负载均衡分布式Minio里所有的节点需要有同样的access秘钥和secret秘钥，即：用户名和密码分布式Minio存放数据的磁盘目录必须是空目录分布式Minio官方建议生产环境最少4个节点，因为有N个节点，得至少保证有N/2的节点才能可读，保证至少N/2+1的节点才能可写。这里只是作演示搭建，只有2个节点分布式Minio节点时间差不能差距太多，最好同一内网分布式Minio会在每个磁盘都存一份数据文件保证数据的可靠性与安全性基础准备创建目录mkdir/home/miniocd/home/miniomkdirconfigmkditlogsmkdirdata1mkdirda
