草庐IT

集群NoSQL

全部标签

【运维】hadoop 集群安装(三)hdfs、yarn集群配置、nodemanager健康管理讲解

文章目录一.配置说明1.hadoop各进程环境配置2.hadoop各进程配置2.1.etc/hadoop/core-site.xml2.2.etc/hadoop/hdfs-site.xml2.2.1.NameNode2.2.2.datanode2.3.etc/hadoop/yarn-site.xml2.3.1.ResourceManagerandNodeManager2.3.2.ResourceManager2.3.3.NodeManager2.3.4.HistoryServer2.4.etc/hadoop/mapred-site.xml2.4.1.MapReduceApplications2

使用kubectl连接远程Kubernetes(k8s)集群

使用kubectl连接远程Kubernetes集群环境准备下载kubectl下载地址安装kubectl并处理配置文件Windows的安装配置安装kubectl拉取配置文件Mac的安装配置安装kubectl拉取配置文件kubectl命令自动补全Linux的安装配置安装kubectl拉取配置文件kubectl命令自动补全环境准备你需要准备一个Kubernetes集群,你要记下你安装Kubernetes的版本。如图我已经准备好了一个版本号为v1.21.14的集群:下载kubectl下载地址注意下载的版本号最好与你安装的Kubernetes版本对应上,各个版本的下载地址(⚠️注意修改url中的版本号)

在不安全的集群上启用 Elasticsearch Xpack 安全性

本博文详细描述如何把一个没有启动安全的Elasticsearch集群升级为一个带有HTTPS访问的启用Elasticsearchxpack安全的集群。为了增强Elasticsearch集群的安全性,你需要执行完全集群重启,并在客户端进行一些更改。启用身份验证后,所有索引和搜索数据的请求都将需要用户名和密码或token。安装如果你还不知道如何安装一个不含有安全的Elasticsearch8.x集群,那么请参考之前的文章:Elasticsearch:如何在Docker上运行Elasticsearch8.x进行本地开发ElasticStack8.0安装-保护你的ElasticStack现在比以往任何

使用Docker Compose搭建高可用Redis集群

如今业务系统对于缓存Redis的依赖似乎是必不可少的,我们可以在各种各样的系统中看到Redis的身影。考虑到系统运行的稳定性,Redis的应用和MySQL数据库一样需要做到高可用部署。一、Redis的多种高可用方案常见的Redis的高可用方案有以下几种:RedisReplication(主从复制):Redis的主从复制可以实现数据的备份和读写分离。通过配置主节点和从节点,主节点将数据异步复制到从节点上。当主节点发生故障时,一个从节点可以被提升为新的主节点,实现故障转移。主从复制适用于对读操作较多、对可用性要求较高的场景。RedisSentinel(哨兵模式):哨兵模式是Redis官方推荐的实现

k8s集群中ETCD备份和恢复

文章目录@[toc]一、etcd概述二、安装etcdctl工具三、kubeadm部署方式部署1)备份2)恢复四、定时备份五、二进制部署备份1)备份2)恢复1、停止apiserver和etcd2、etcd_1恢复3、etcd_2恢复4、etcd_3恢复5、启动etcd和apiserver6、检查集群六、安装velero1)Velero简介2)工作流程3)整体流程4)nfs持久卷5)安装Velero6)安装minio1、官方地址2、部署yaml3、创建ID和key4、创建备份桶5、测试访问7)安装velero服务端七、部署测试应用1)部署测试服务2)编写测内容八、测试备份1)备份总结1、备份分类2

3大方面升级华为云CCE集群体验,助力集群高效运维管理

本文分享自华为云社区《华为云从心打造CCE集群升级体验,助力集群高效运维管理》,作者:云容器大未来。在云原生时代浪潮的推动下,Kubernetes的发展日新月异,更新的集群版本可以带来更新的功能,助力用户打造更强大的云原生应用环境。然而,一直以来,如何让用户积极地升级集群版本,是业界公认的一个难题。“我们想用K8s推出的新能力,也想保持整体集群的最新状态。但是我们那么多重要的应用跑在容器上,如何确保我的业务在集群升级过程不受任何影响呢?一旦出现问题,能快速修复吗?”,“我的集群版本比较老,想要升级到最新版本,升级过程可能会很长,担心可能对上层业务会有影响,且影响时长不可控”——这是CCE集群升

centerOS下docker 搭建IotDB集群

一、准备3台机器,IP地址依次为IP1,IP2,IP3,找一个目录下建立文件夹如下:./data/confignode./logs/confignode./data/datanode./logs/datanode二、在当前目录下建立docker-compose.yml文件,3台都要1、第一台(为主节点的)version:"3"services:iotdb-confignode:image:apache/iotdb:1.1.0-confignoderestart:alwayscontainer_name:iotdb-confignodeenvironment:-cn_internal_addre

在3台不联网的 CentOS 7.8 服务器上部署 Elasticsearch 6.8 集群

为了在3台不联网的CentOS7.8服务器上部署Elasticsearch6.8.23集群,并考虑到path.data和path.logs的配置,我们可以按照以下步骤进行操作:1.准备工作1.1从有网络的机器下载Elasticsearch6.8.23的RPM包:https://www.elastic.co/downloads/past-releases/elasticsearch-6-8-231.2为了安装依赖包,还需要下载以下RPM包:java-1.8.0-openjdk可以使用yum命令下载:yuminstall--downloadonly--downloaddir=/path_to_di

[Hadoop高可用集群]数仓工具之Hive的安装部署(超级详细,适用于初学者)

[Hadoop]数仓工具Hive的安装部署📕作者:喜欢水星记🏆系列:Hadoop高可用集群🔋收藏:本文记录我搭建过程供大家学习和自己之后复习,如果对您有用,希望能点赞收藏加关注Hive的简介Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。最初,Hive是由Facebook开发,后来由Apache软件基金会开发,并作为进一步将它作为名义下ApacheHive为一个开源项目。Hive建立在Hadoop基础之上,Hive与Hadoop紧密集成,其设计可快速对PB级数据进行操作。H

Kubernetes(K8s)从入门到精通系列之十:使用 kubeadm 创建一个高可用 etcd 集群

KubernetesK8s从入门到精通系列之十:使用kubeadm创建一个高可用etcd集群一、etcd高可用拓扑选项1.堆叠(Stacked)etcd拓扑2.外部etcd拓扑二、准备工作三、建立集群1.将kubelet配置为etcd的服务管理器。2.为kubeadm创建配置文件。3.生成证书颁发机构。4.为每个成员创建证书。5.复制证书和kubeadm配置。6.确保已经所有预期的文件都存在7.创建静态Pod清单。8.可选:检查集群运行状况。一、etcd高可用拓扑选项默认情况下,kubeadm在每个控制平面节点上运行一个本地etcd实例。也可以使用外部的etcd集群,并在不同的主机上提供etc