草庐IT

集群NoSQL

全部标签

HadoopHA模式(由于Hadoop的HA模式是在Hadoop完全分布式基础上,利用zookeeper等协调工具配置的高可用的Hadoop集群模式)

目录1.前期准备1.1.hadoop-3.1.3.tar.gz,jdk-8u212-linux-x64.tar.gz,apache-zookeeper-3.5.7-bin.tar.gz三个包提取码:k5y62.解压安装包,配置环境变量3.将三个节点分别命名为master、slave1、slave2并做免密登录免密在前面Hadoop完全分布式搭建说过,这里不再赘述4.搭建zookeeper集群 根据配置的路径新建zkdata,zkdatalog目录。然后到zkdata目录中可以touch新建一个文件myid,也可以直接echo写入为1,另外slave1,salve2分别对应2,3。​编辑 5.分

Linux虚拟机系统Ubuntu搭建Hadoop集群

目录一、安装VMwareWorkstation15.1二、下载Ubuntu镜像三、安装Ubuntu镜像 更改阿里云镜像源四、配置JAVA环境五、配置安装Hadoop修改虚拟机名称配置SSH免密登录  配置集群环境分发文件启动Hadoop数据分析一、安装VMwareWorkstation15.1 安装路径:VMwareWorkstation15.1兼容win10https://www.aliyundrive.com/s/uUNpgqctbi9提取码:ix71二、下载Ubuntu镜像这里推荐直接进入Ubuntu的官网进行下载:Ubuntu20.04三、安装Ubuntu镜像 6.可以自己改虚拟机的名

ZooKeeper+Kafka+ELK+Filebeat集群搭建实现大批量日志收集和展示

大致流程:将nginx服务器(web-filebeat)的日志通过filebeat收集之后,存储到缓存服务器kafka,之后logstash到kafka服务器上取出相应日志,经过处理后写入到elasticsearch服务器并在kibana上展示。一、集群环境准备4c/8G/100G10.10.200.33Kafka+ZooKeeper+ES+Filebeat+ES-head4c/8G/100G10.10.200.34Kafka+ZooKeeper+ES+Kibana4c/8G/100G10.10.200.35Kafka+ZooKeeper+ES+Logstash二、搭建zookeeper集群前

MONGODB 的基础 NOSQL注入基础

首先来学习一下nosql这里安装就不进行介绍只记录一下让自己了解mongodbubuntu安装后进入/usr/bin./mongodb即可进入然后可通过进入的url链接数据库基本操作showdbshowdbsshowtablesuse数据库名插入数据db.admin.insert({json格式的数据})例如db.admin.insert({'id':1,'name':admin,'passwd':admin123})或者通过定义的方法canshu={'id':1,'name':admin,'passwd':admin123}db.admin.insert(canshu)删除db.admin.

Docker部署RocketMQ集群

一、概述ApacheRocketMQ是阿里开源的一款高性能、高吞吐量、队列模型的消息中间件的分布式消息中间件。关于RocketMQ集群架构的详细介绍,请参考链接:https://blog.csdn.net/Weixiaohuai/article/details/123607472二、下载镜像dockerpullapache/rocketmq:4.9.4dockerpullapacherocketmq/rocketmq-dashboard主要用到了2个镜像,第1个用来部署NameServer和Broker,第2个用来管理rocketmq三、部署本文主要采用一台服务器来部署RocketMQ集群,集

云原生 黑马Kubernetes教程(K8S教程)笔记——第一章 kubernetes介绍——Master集群控制节点、Node工作负载节点、Pod控制单元

参考文章:kubernetes介绍文章目录第一章kubernetes介绍1.1应用部署方式演变传统部署:互联网早期,会直接将应用程序部署在物理机上虚拟化部署:可以在一台物理机上运行多个虚拟机,每个虚拟机都是独立的一个环境(比如VMware虚拟机)容器化部署:与虚拟化类似,但是共享了操作系统(比如docker容器)容器编排问题——引入k8s1.2kubernetes简介主要功能自我修复:一旦某一个容器崩溃,能够在1秒中左右迅速启动新的容器弹性伸缩:可以根据需要,自动对集群中正在运行的容器数量进行调整服务发现:服务可以通过自动发现的形式找到它所依赖的服务负载均衡:如果一个服务起动了多个容器,能够自

[云原生案例2.2 ] Kubernetes的部署安装 【单master集群架构 ---- (二进制安装部署)】网络插件部分

文章目录1.Kubernetes的网络类别2.Kubernetes的接口类型3.CNI网络插件----Flannel的介绍及部署3.1简介3.2flannel的三种模式3.3flannel的UDP模式工作原理3.4flannel的VXLAN模式工作原理3.5FlannelCNI网络插件部署3.5.1上传flannel镜像文件和插件包到node节点3.5.2在master01节点部署CNI网络3.5.3查看集群的节点状态4.CoreDNS的简单介绍与部署4.1简介4.2CoreDNS的部署4.2.1构建coredns镜像----所有node节点4.2.2编写CoreDNS配置文件4.2.3部署C

Influxdb Cluster集群部署

准备工作确定安装版本1、此次安装选择的是influxdb-cluster集群部署方案,参考项目开源地址为:https://github.com/chengshiwen/influxdb-cluster/wiki,选择的版本为v1.8.10-c1.2.0。下载地址https://github.com/chengshiwen/influxdb-cluster/releases下载命令#注意机器版本wgethttps://github.com/chengshiwen/influxdb-cluster/releases/download/v1.8.10-c1.1.2/influxdb-cluster_

云服务器上使用Docker Compose创建Redis三主三从集群

一、环境云服务器Ubuntu20.4Dokcer24.0.2二、步骤目录结构是这样:绿色的目录是用来存储容器中的文件,不需要我们手动创建,将路径配置在配置文件中即可。黑色的目录和文件需要自己手动创建。 我们一共创建7个容器:redis1~redis6是集群节点,redis_cluster是用来搭建主从关系的一个容器,搭建完之后就关闭了。1.开放端口端口记得开!端口记得开!端口记得开!端口记得开!端口记得开!端口记得开!端口记得开!端口记得开!端口记得开!端口记得开!端口记得开!端口记得开!端口记得开!端口记得开!端口记得开!端口记得开!端口记得开!端口记得开!6379也要开!!!6379也要开

docker-compose 搭建RocketMQ 5.1.0 集群(双主双从模式) | Spring Cloud 28

一、前言关于更多RocketMQ的介绍请见官网:https://rocketmq.apache.org/zh/docs/网上关于Docker搭建RocketMQ单机&集群的版本一般都是4.X。关于最新的5.X版本,官方给出的示例都是基于物理机&虚拟机实现,不便于我们我们日常开发使用,而且官方镜像https://hub.docker.com/r/apache/rocketmq中也没有关于容器化使用的介绍。本章的目的:展示基于docker-compose搭建RocketMQ5.1.0集群,及一些部署在部署过程中的注意事项,方便大家对新版本的尝鲜与使用。二、环境说明基于三台CentOS7.9版本的虚