草庐IT

集群NoSQL

全部标签

Kafka集群安装部署(超详细操作演示)—— Linux

Kafka集群安装部署(超详细操作演示)——Linux简介安装测试Kafka能否正常使用简介Kafka是一款分布式的、去中心化的、高吞吐低延迟、订阅模式的消息队列系统。同RabbitMQ一样,Kafka也是消息队列。不过RabbitMQ多用于后端系统,因其更加专注于消息的延迟和容错。Kafka多用于大数据体系,因其更加专注于数据的吞吐能力。Kafka多数都是运行在分布式(集群化)模式下,所以课程将以3台服务器,来完成Kafka集群的安装部署。安装前提条件:确保已经跟随前面的安装教程,安装并部署了JDK和Zookeeper服务Kafka的运行依赖JDK环境和Zookeeper请确保已经有了JDK

玩转aws之(一)eks集群部署

目录1.前言2.创建EKS集群2.2.1创建集群角色2.2.2创建EKS集群2.2.3添加主机组3.配置kubectl访问集群3.1安装kubectl3.2使用AWSCLi配置.kube/config4.安装ingresscontroll创建集群文档参考:创建AmazonEKS集群-AmazonEKS1.前言aws官方用户指南中关于创建EKS集群部分,看了几次才理解了整个创建过程,这里总结了创建集群的过程和步骤,可以通过eksctl、管理控制台和awscli创建集群,这里通过管理控制台进行创建EKS创建后默认没有worker节点、附加组件只有vpccni、coredns、kubeproxy,因

Rancher-RKE-install 部署k8s集群

一、为什么用Rancher-RKE-install        1.CNCF认证的k8s安装程序。        2.有中文文档。  二、安装步骤    1.下载Rancher-Rke的二进制包-下面是项目的地址         GitHub-rancher/rke:RancherKubernetesEngine(RKE),anextremelysimple,lightningfastKubernetesdistributionthatrunsentirelywithincontainers.    2.下载完成后给予权限,然后通过rkecli命令行引导式输出配置文件rkeconfig--n

vwmare 15“无权输入许可证密钥...”与出现新问题hadoop集群无法启动

文章最后更新于2022.5.27,2:18am,希望对你有帮助“您无权输入许可证密钥...”与解决方法备份了虚拟机的所有文件,重置了电脑后,再把虚拟机的所有文件移动回原来的位置(文件路径不变),原本以为这样不会出现任何问题的。结果当打开输入密钥的时候,出现这个问题一开始以为是没有“以管理员身份运行”导致无法输入密钥,但后来以管理员身份运行后也不行>_上网查百度、CSDN后,有几种方法:1、有说 卸载重装虚拟机 就能解决关于VMware无法输入许可证密钥的方法_星回@的博客-CSDN博客_vmware无法输入密钥首先,把电脑里的VMware卸载掉设置----应用----找到VMware-----

K8S最新版本集群部署(v1.28) + 容器引擎Docker部署(上)

温故知新📚第一章前言📗背景📗目的📗总体方向📚第二章基本环境信息📗机器信息📗软件信息📗部署用户kubernetes📚第三章Kubernetes各组件部署📗安装kubectl📕确认系统架构📕关闭防火墙、swap、selinux📕通过curl下载kubectl🔼上一集:win11+vmware17+centos7.9环境搭建*️⃣主目录:温故知新专栏🔽下一集:K8S最新版本集群部署(v1.28)+容器引擎Docker部署(下)📚第一章前言📗背景之前部署过dolphinscheduler3.1.8,看页面增加了K8S模块,所以想着部署一下K8S,学习一下,而且海豚调度也提供了K8S部署方式,经过一番了

【夜莺监控方案】06-监控redis集群(prometheuse+n9e+redis_exporter)

环境说明服务器IP地址服务监控服务器10.10.xxx.56prometheus/grafanak8s-vip10.10.xxx.100redis集群将redis_exporter部署在监控服务器上,对各环境redis进行监控。此处以监控k8s平台的redis集群为例。1.redis_exporter创建redis_exporter目录,下边创建docker-compose.yml文件如下:version:'2'services:redis_exporter:image:harbocto.xxx.com.cn/public/redis_exportercontainer_name:redis_

云原生|kubernetes|kubernetes集群巡检脚本

前言:生产环境下的kubernetes集群安装部署仅仅是前期的一点点工作,主要的工作其实是集中在集群正式运行后的维护,管理工作。而kubernetes集群的巡视检查工作是一个比较重要的工作,可以通过定时,定期的巡检能够提前发现kubernetes集群的一些潜在问题,从而在发生大的影响运行的问题前发现问题并解决问题。那么,通常的做法是安装部署监控软件,例如,prometheus,grafana,zabbix这些,但,毫无疑问的,这些监控系统或多或少的会对kubernetes集群有所侵入,并且监控系统也是需要维护的,这些无形中增加了我们的维护工作量。OK,那么使用shell脚本来对集群做一个最为简

ES是一个分布式全文检索框架,隐藏了复杂的处理机制,核心数据分片机制、集群发现、分片负载均衡请求路由

ES是一个分布式框架,隐藏了复杂的处理机制,核心数据分片机制、集群发现、分片负载均衡请求路由。ES的高可用架构,总体如下图:说明:本文会以pdf格式持续更新,更多最新尼恩3高pdf笔记,请从下面的链接获取:语雀或者码云ES基本概念名词Cluster代表一个集群,集群中有多个节点,其中有一个为主节点,这个主节点是可以通过选举产生的,主从节点是对于集群内部来说的。es的一个概念就是去中心化,字面上理解就是无中心节点,这是对于集群外部来说的,因为从外部来看es集群,在逻辑上是个整体,你与任何一个节点的通信和与整个es集群通信是等价的。Shards代表索引分片,es可以把一个完整的索引分成多个分片,这

Ceph集群-2·创建部署

一、环境准备拓扑图1台客户端虚拟机:Client3台存储集群虚拟机:node1~3存储集群虚拟机IP地址分别为:192.168.88.11~13每台存储集群虚拟机至少要有2g的内存每台存储集群虚拟机需要含有2块空闲硬盘每台存储集群虚拟机搭建好yum等服务实验拓扑.png二、Ceph:分布式存储集群部署流程思路环境准备配置NTP服务安装软件包创建集群创建OSD存储空间所有节点:添加2块额外的硬盘所有节点:配置yum服务端和客户端选出一台存储集群虚拟机作为控制节点,配置到所有节点的免密登录在所有的节点主机上配置名称解析(hosts)在所有节点上安装软件包(ceph-monceph-osdceph-

Apache DolphinScheduler 如何实现自动化打包+单机/集群部署?

ApacheDolphinScheduler是一款开源的分布式任务调度系统,旨在帮助用户实现复杂任务的自动化调度和管理。DolphinScheduler支持多种任务类型,可以在单机或集群环境下运行。下面将介绍如何实现DolphinScheduler的自动化打包和单机/集群部署。自动化打包所需环境:maven、jdk执行以下shell完成代码拉取及打包,打包路径:/opt/action/dolphinscheduler/dolphinscheduler-dist/target/apache-dolphinscheduler-dev-SNAPSHOT-bin.tar.gzsudosu-root单机