草庐IT

集群NoSQL

全部标签

Hadoop集群搭建

目录一、完全分布式集群(单点)1 准备3台客户机1.1防火墙,静态IP,主机名1.3添加用户账号1.4/opt目录下创建文件夹2  安装配置jdk1.83  安装hadoop集群3.1 集群部署规划3.2设置SSH免密钥3.3 解压安装hadoop4  配置hadoop集群4.1修改core-site.xml4.2修改hadoop-env.sh4.3修改hdfs-site.xml4.4修改slaves4.5修改mapred-env.sh4.6修改mapred-site.xml4.7修改yarn-env.sh4.8修改yarn-site.xml4.9分发hadoop到节点4.10配置环境变量5 

Oracle RAC集群体系结构完美解析

OracleRAC集群体系结构完美解析一、OracleRAC集群体系结构二、OracleClusterware体系结构与进程介绍2.1、OracleClusterware简介2.2、OracleClusterware进程介绍2.2.1、ClusterSynchronizationServices2.2.2、ClusterReadyServices2.2.3、ProcessMonitorDaemon2.2.4、OracleNotificationService2.2.5、EventManagement三、RAC数据库体系机构与进程3.1、RAC简介3.1.1、RAC支持多种存储方式3.1.1.1

Redis集群:分布式的less is more

Redis完全就是《数据密集型应用系统设计》的简单实现,主打一个**大道至简**。推荐配合这本书(或者15-445+6.824)一起看[1]。本文就从分布式视角来介绍下Redis集群模式,顺便看看一些经典的分布式问题在redis下如何解决。**这篇文章主要提供一个highlevel的视角,也就是聚焦于所有分布式系统都会有的一些问题,而不仅限于Redis,阅读时可以多带入自己熟悉的系统的视角。**比如mysql,bin-log/redo-log/undo-log/2PC解决的问题在本文中分别就对应了:复制(或者恢复)/故障恢复/事务隔离性/事务原子性[3]。[1]《数据密集型应用系统设计》第一三

hadoop虚拟集群搭建

一、虚拟机创建成功二、1.打开——>用root用户登陆修改虚拟机主机名为master  vim/etc/hostnameescshift+:wq保存退出三:关闭防火墙1.查看防火墙状态systemctl statusfirewalld2.关闭防火墙systemctl stopfirewalld3.关闭开机自启动systemctldisablefirewalld4.查看防火墙状态systemctl statusfirewalld(此时已经关闭) 三:设置静态ipiprouteshow  ---查看网关vi/etc/sysconfig/network-scripts/ifcfg-ens33TYPE

在 K8s 集群上部署 RabbitMQ 实战

作者:老Z,云原生爱好者,目前专注于云原生运维,KubeSphereAmbassador。前言知识点定级:入门级RabbitMQ单节点安装部署RabbitMQ集群安装部署GitOps运维思想演示服务器配置主机名IPCPU内存系统盘数据盘用途zdeops-master192.168.9.92440200Ansible运维控制节点ks-k8s-master-0192.168.9.9141640200+200KubeSphere/k8s-master/k8s-worker/Cephks-k8s-master-1192.168.9.9241640200+200KubeSphere/k8s-master

【云原生之kubernetes】在k8s集群中安装和配置Metrics Server

【云原生之kubernetes】在k8s集群中安装和配置MetricsServer一、MetricsServer介绍1.1MetricsServer简介1.2MetricsServer功能1.3MetricsServer兼容性要求二、本次实践介绍2.1本次实践简介2.2本次环境规划三、检查k8s环境3.1检查工作节点状态3.2检查系统pod状态四、下载MetricsServer软件包4.1创建下载目录

【RabbitMQ】RabbitMQ 集群的搭建 —— 基于 Docker 搭建 RabbitMQ 的普通集群,镜像集群以及仲裁队列

文章目录一、集群分类1.1普通模式1.2镜像模式1.3仲裁队列二、普通集群2.1目标集群2.2获取ErlangCookie2.3集群配置2.4启动集群2.5测试集群三、镜像模式3.1镜像模式的特征3.2镜像模式的配置3.2.1exactly模式3.2.2all模式3.2.3nodes模式3.3测试镜像模式四、仲裁队列4.1添加仲裁队列4.2测试仲裁队列4.3使用SpringAMQP声明仲裁队列一、集群分类在RabbitMQ中,有不同的集群模式,包括普通模式、镜像模式和仲裁队列。每种模式具有不同的特点和应用场景。1.1普通模式普通集群,也称为标准集群(classiccluster),具备以下特征

Zookeeper系统性学习-应用场景以及单机、集群安装

Zookeeper是什么?Zookeeper为分布式应用提供高效且可靠的分布式协调服务,提供了诸如统一命名服务、配置管理和分布式锁等分布式的基础服务。在解决分布式数据一致性方面,ZooKeeper并没有直接采用Paxos算法,而是采用了名为ZAB的一致性协议ZooKeeper主要用来解决分布式集群中应用系统的一致性问题,它能提供基于类似于文件系统的目录节点树方式的数据存储。但是ZooKeeper并不是用来专门存储数据的,它的作用主要是用来维护和监控存储数据的状态变化。通过监控这些数据状态的变化,从而可以达到基于数据的集群管理很多大名鼎鼎的框架都基于ZooKeeper来实现分布式高可用,如:Du

ray-分布式计算框架-集群与异步Job管理

0.ray简介ray是开源分布式计算框架,为并行处理提供计算层,用于扩展AI与Python应用程序,是ML工作负载统一工具包RayAIRuntimeML应用程序库集RayCore通用分布式计算库Task--Ray允许任意Python函数在单独的Pythonworker上运行,这些异步Python函数称为任务Actor--从函数扩展到类,是一个有状态的工作者,当一个Actor被创建,一个新的worker被创建,并且actor的方法被安排到那个特定的worker上,并且可以访问和修改那个worker的状态Object--Task与Actor在对象上创建与计算,被称为远程对象,被存储在ray的分布式

elasticSearch集群 springboot集成es 完全解析

es集群搭建#编写compose.yml配置文件#每个节点都创建一个elasticsearch.yml文件用到的命令:systemctlstartdockerdocker-composeupcompose.ymles和kibana版本必须一样environment:配置容器内的环境变量networks:创建一个名为elastic的局域网,让各节点以及kibana,es-head相互联系version:'3'services:es01:image:elasticsearch:7.6.2environment:-"ES_JAVA_OPTS=-Xms512m-Xmx512m"ports:-9201: