草庐IT

集群NoSQL

全部标签

实操Hadoop大数据高可用集群搭建(hadoop3.1.3+zookeeper3.5.7+hbase3.1.3+kafka2.12)

前言纯实操,无理论,本文是给公司搭建测试环境时记录的,已经按照这一套搭了四五遍大数据集群了,目前使用还未发现问题。有问题麻烦指出,万分感谢!PS:Centos7.9、Rocky9.1可用集群配置iphostname系统CPU内存系统盘数据盘备注192.168.22.221hadoop1Centos7.9416250G192.168.22.222hadoop2Centos7.9416250G192.168.22.223hadoop3Centos7.9416250G规划集群hadoop1hadoop2hadoop3备注NameNodeNameNodehadoopJournalNodeJournal

采用Prometheus+Grafana+Altermanager搭建部署K8S集群节点可视化监控告警平台

文章目录1.实验节点规划表2.安装Prometheus3.安装node_exporter4.配置prometheus.yml文件5.安装Grafana6.安装Altermanager监控告警采用"Prometheus+Grafana"的开源监控系统,安装部署K8S集群监控平台。并使用Altermanager告警插件,配合使用企业微信,实现系统集群监控报警机制。1.实验节点规划表主机名称IP地址安装组件m1192.168.200.61Prometheus+Grafana+Alertmanager+node_exporterm2192.168.200.62node_exporterm3192.16

生产实践:使用 GlusterFS 搭建 Kubernetes 存储卷集群

我们将重点讨论如何使用GlusterFS搭建一个可靠的存储解决方案,以供Kubernetes集群使用。1.服务器列表:172.18.1.52172.18.1.53172.18.1.542.安装yum源wget-O/etc/yum.repos.d/CentOS-Base.repohttps://mirrors.aliyun.com/repo/Centos-9.repo3.安装glusterfs服务端在三个节点分别执行yum-yinstallcentos-release-gluster5.noarchyum-yinstallglusterfs-server设置开机启动,并启动在三个节点分别执行sy

Redis集群架构模式概述,引领我们穿越在数据存储的未知之旅

Redis,不仅是数据存储,更是架构的艺术。从主从到哨兵、再到Cluster,每个模式都有着独特的优势。而代理模式,则是应对大规模场景的得力助手。这是一场探险,Redis引领我们穿越在数据存储的未知之旅。本文先简略介绍Redis的几种架构模式,后续合集再逐一进行详细介绍部署、使用及原理。一、主从模式1、简介主从模式是Redis架构中最简单的模式之一,分为主数据库master和从数据库slave两类,主要特点如下:主数据库支持读写操作,数据变化时自动同步给从数据库。从数据库通常为只读,接收主数据库同步的数据。一个主数据库可以拥有多个从数据库,但一个从数据库只能对应一个主数据库。从数据库宕机不影响

K8s基础12——etcd数据备份与恢复、集群版本升级、网络策略

文章目录一、etcd备份与恢复1.1kubeadm部署方式1.1.1备份1.1.2恢复1.2单etcd二进制部署方式1.2.1部署1.2.2备份1.2.3恢复1.2.4K8s集群二进制部署方式恢复二、集群版本升级2.1升级master节点2.2升级node节点三、网络策略3.1核心字段释义3.2测试案例案例1:拒绝命名空间下所有Pod出入站流量案例2:拒绝其他命名空间pod访问案例3:允许其他命名空间pod访问指定应用案例4:同一个命名空间下应用之间限制访问案例5:只允许指定命名空间中的应用访问案例6:限制端口范围一、etcd备份与恢复基本了解:K8s使用etcd数据库实时存储集群中的数据,安

Centos7原生hadoop环境,搭建Impala集群和负载均衡配置

Centos7原生hadoop环境,搭建Impala集群和负载均衡配置impala介绍Impala集群包含一个CatalogServer(Catalogd)、一个StatestoreServer(Statestored)和若干个ImpalaDaemon(Impalad)。Catalogd主要负责元数据的获取和DDL的执行,Statestored主要负责消息/元数据的广播,Impalad主要负责查询的接收和执行。Impalad又可配置为coordinatoronly、executoronly或coordinatorandexecutor(默认)三种模式。Coordinator角色的Impalad

Flink高手之路2-Flink集群的搭建

文章目录Flink高手之路2-Flink集群的搭建一、Flink的安装模式1.本地local模式2.独立集群模式standalone3.高可用的独立集群模式standaloneHA4.基于yarn模式Flinkonyarn二、基础环境三、Flink的local模式安装1.下载安装包2.上传服务器3.解压4.配置环境变量5.使环境变量起作用6.测试显示版本7.测试scalashell交互命令行(可跳过)1)安装一下Flink1.12版本2)启动命令行3)webui查看4)scala命令行示例-单词计数(批处理)5)scala命令行示例2-窗口计数(流处理)6)退出命令行8.local模式测试9.

K8s基础2——部署单Master节点K8s集群、切换containerd容器运行时、基本命令

文章目录一、部署K8S集群方式二、kubeadm工具搭建K8s集群2.1资源配置2.2服务器规划2.3搭建流程2.3.1操作系统初始化2.3.2安装docker容器引擎2.3.3安装cri-dockerd2.3.4安装kubeadm,kubelet和kubectl2.3.5master节点初始化2.3.6加入node节点2.3.7部署网络组件(CNI)2.3.8部署Dashboard2.3.9访问Dashboard2.3.10效果测试2.3.10.1创建pods2.3.10.2查看容器日志2.3.10.3查看yaml文件2.3.10.4进入容器终端2.3.10.5缩放资源2.4使用Contai

Springcloud nacos集群和持久化配置+nginx动态代理框架搭建

前言Nacos定义为一个IDC内部应用组件,并非面向公网环境的产品,建议在内部隔离网络环境中部署,强烈不建议部署在公共网络环境。所有网络相关概念均处于内部网络环境。支持得三种部署模式单机模式-用于测试和单机试用。集群模式-用于生产环境,确保高可用。多集群模式-用于多数据中心场景。环境准备一台mysql+三台nacos+一台nginx安装好JDK,需要1.8及其以上版本(每台nacos服务上都需要JDK环境)操作环境,集群环境是在Linux系统下进行搭建的架构图一、nacos下载以及安装过程下载地址zip:https://github.com/alibaba/nacos/releases/dow

在k8s集群部署ELK

使用kubeadm或者其他方式部署一套k8s集群。在k8s集群创建一个namespace:halashow2ELK部署架构3.1准备资源配置清单 Deployment中存在一个es的业务容器,和一个init容器,init容器主要是配置vm.max_map_count=262144。service暴露了9200端口,其他服务可通过servicename加端口访问es。3.1准备资源配置清单 Deployment中存在一个es的业务容器,和一个init容器,init容器主要是配置vm.max_map_count=262144。service暴露了9200端口,其他服务可通过servicename加