草庐IT

集群NoSQL

全部标签

docker进行RocketMq集群部署

环境:(1)Centos7(2)JDK1.8(3)docker(4)rocketmq4.8两台服务器ipA:192.168.5.49B:192.168.5.50集群模式1、单节点:优点:本地开发测试,配置简单,同步刷盘消息一条都不会丢缺点:不可靠,如果宕机,会导致服务不可用2、主从(异步、同步双写):优点:同步双写消息不丢失,异步复制存在少量丢失,主节点宕机,从节点可以对外提供消息的消费,但是不支持写入缺点:主备有短暂消息延迟,毫秒级,目前不支持自动切换,需要脚本或者其他程序进行检测然后进行停止broker,重启让从节点成为主节点3、双主:优点:配置简单,可以靠配置RAID磁盘阵列保证消息可靠

Kuboard-Spray 图形化工具安装kubernetes集群

kubernetes系列(一)———Kuboard-Spray图形化工具安装kubernetes集群完整安装k8s集群过程。整体过程:准备好服务器安装Kuboard-Spray(用来离线安装k8s集群-方便)Kuboard-Spray加载离线资源包(k8s资源包)通过Kuboard-Spray规划并安装集群安装KuboardV3.5集群管理器导入集群一、准备工作我准备了三台虚拟机,用来搭建一个master两个node集群,另外一台服务器单独安图形管理界面Kuboard-Spray和KuboardV3.5。192.168.2.101k8s01master,etcd,worker192.168.2

docker搭建Elasticsearch集群

这里写目录标题1.拉取es镜像2.配置配置文件3.启动容器4.启动过程中遇到的问题5.查看容器启动情况1.拉取es镜像dockerpulldocker.elastic.co/elasticsearch/elasticsearch:7.17.0版本根据自己需求进行拉取,我这边选择的是7.17.0,不同版本配置可能稍有差别!2.配置配置文件采用文件挂载的方式,采用宿主机配置文件,本文采用的三台主机搭建集群,每一台主机的配置稍有区别!主机一:#es1#主master配置样例子#集群的名称cluster.name:"docker-cluster"#节点的名称node.name:node-1#此节点是否

zookeeper集群启停及状态查看脚本(linux)

#!/bin/bashcase$1in"start"){ foriinhadoop110hadoop111hadoop112 do echo======$i====== ssh$i"source/etc/profile&&/opt/module/zookeeper-3.5.7/bin/zkServer.shstart" done};;"stop"){ foriinhadoop110hadoop111hadoop112 do echo======$i====== ssh$i"source/etc/profile&&/opt/module/zookeeper-3.5.7/bin/zkSer

k8s实践之mysql集群搭建(十五)

先下载 k8s实践之mysql集群搭建资料主从模式简介:当master主服务器上的数据发生改变时,则将其改变写入二进制(binlog)事件日志文件中;slave从服务器会在一定时间间隔内对master主服务器上的二进制日志进行探测,探测其是否发生过改变(通过二进制文件的大小是否不同来进行判断,日志文件改变了的大小也可以叫作偏移),如果探测到master主服务器的二进制事件日志发生了改变,则开始一个I/OThread请求master二进制事件日志;同时master主服务器为每个I/OThread启动一个dumpthread,用于向其发送二进制事件日志;slave从服务器将接收到的二进制事件日志写

elasticsearch 一次性查询数据量过大 jvm内存快速占用满 导致集群无响应

近期因为生产上es集群出现了内存快速占用满、频繁gc、集群无响应的现象,查看集群日志和满查询日志,发现都是因为频繁gc集群无响应后出现的报错、gc高频的警告以及平时不慢的查询报文出现在慢查询日志里。看kibana的监控,发现内存几乎是在几秒内就占用满,并且满了以后,由于可用内存不足就开始频繁的fullgc,cpu居高不下,集群此时基本在无法响应的状态,有遇到这种情况,只能重启才能解决,无法自己恢复,内存虽然已经占用满,但是集群日志中没有OOM的异常,而且出现的概率比较随机。由于之前没有遇到过这个问题,所以想能不能通过prometheus的监控来看是不是在集群异常时有一些异常指标,没想到部署好以

elasticsearch 一次性查询数据量过大 jvm内存快速占用满 导致集群无响应

近期因为生产上es集群出现了内存快速占用满、频繁gc、集群无响应的现象,查看集群日志和满查询日志,发现都是因为频繁gc集群无响应后出现的报错、gc高频的警告以及平时不慢的查询报文出现在慢查询日志里。看kibana的监控,发现内存几乎是在几秒内就占用满,并且满了以后,由于可用内存不足就开始频繁的fullgc,cpu居高不下,集群此时基本在无法响应的状态,有遇到这种情况,只能重启才能解决,无法自己恢复,内存虽然已经占用满,但是集群日志中没有OOM的异常,而且出现的概率比较随机。由于之前没有遇到过这个问题,所以想能不能通过prometheus的监控来看是不是在集群异常时有一些异常指标,没想到部署好以

使用Docker搭建ES集群

使用Docker搭建ES集群下载docker下载对应的ES镜像dockerpullElasticsearch:7.4.0(此处用的是7.4.0版本)初始化es配置文件创建ES挂载目录mkdir/service/elasticsearch/mkdir/service/elasticsearch/elasticsearch01mkdir/service/elasticsearch/elasticsearch02mkdir/service/elasticsearch/elasticsearch03mkdir/service/elasticsearch/elasticsearch01/configmk

部署k8s集群及KubeEdge实战(超详细,整理官方文档及个人见解,附带各种实战中遇到的问题)

目录——前言使用KubeSphere部署K8s集群、KubeEdge ——什么是KubeSphere? ——先决条件--硬件推荐配置--容器运行时--依赖项要求--网络和DNS要求——下载KubeKey(kk)并开始安装——在KubeSphere部署KubeEdge在命令行上暴力部署k8s和KubeEdge——部署前的准备--master和edge安装docker--master和edge安装golang(k8s是由go语言写的) ——开始部署k8s集群——使用keadm将边缘节点加入K8s集群(Kubeedge) ——云端初始化——前言为什么要使用KubeEdge呢,这是因为Kubernet

部署k8s集群及KubeEdge实战(超详细,整理官方文档及个人见解,附带各种实战中遇到的问题)

目录——前言使用KubeSphere部署K8s集群、KubeEdge ——什么是KubeSphere? ——先决条件--硬件推荐配置--容器运行时--依赖项要求--网络和DNS要求——下载KubeKey(kk)并开始安装——在KubeSphere部署KubeEdge在命令行上暴力部署k8s和KubeEdge——部署前的准备--master和edge安装docker--master和edge安装golang(k8s是由go语言写的) ——开始部署k8s集群——使用keadm将边缘节点加入K8s集群(Kubeedge) ——云端初始化——前言为什么要使用KubeEdge呢,这是因为Kubernet