草庐IT

ceph集群搭建详细教程(ceph-deploy)

ceph-deploy比较适合生产环境,不是用cephadm搭建。相对麻烦一些,但是并不难,细节把握好就行,只是命令多一些而已。实验环境服务器主机public网段IP(对外服务)cluster网段IP(集群通信)角色deploy192.168.2.120用于部署集群、管理集群ceph-node1192.168.2.121192.168.6.135ceph-mon、ceph-mgr、ceph-osdceph-node2192.168.2.122192.168.6.136ceph-mon、ceph-mgr、ceph-osdceph-node3192.168.2.123192.168.6.137ce

集群与分布式的概念及区别

目前在工作中经常接触到集群的概念,通过这篇文章总结一下集群的几种方式以及和分布式对比学习1.集群(Cluster)集群是由多个计算机节点组成的网络,旨在共同提供服务,并确保高性能和高可用性。在高可用集群中,它主要关注保证用户应用程序持续对外提供服务的能力。通过多个节点协同工作,集群能够减少因软件、硬件或人为故障而对业务造成的影响。(一个业务,部署在多台服务器上,这就是集群。这里的一个业务,可以直接看做一个程序包。)1.1集群的分类1.1.1高可用性集群(HighAvailabilityCluster)高可用性集群旨在确保系统持续稳定运行,即使发生故障也能提供无间断的服务。它通过多个节点共同工作

使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群

未来的竞争,是数据之争。大数据本质上是Hadoop的生态群,下面是常用技术词汇ETL:代表提取、转换和加载。Hadoop:分布式系统基础架构HDFS:分布式文件系统HBase:大数据的NoSQL数据库Hive:数据仓库工具DAG:第二代计算引擎Spark:第三代数据处理引擎Flink:第四代数据处理引擎MapReduce:最初的并行计算框架Sqoop:nosql数据库和传统数据库之间传输数据的工具Hive:数据仓库工具Storm:分布式实时计算系统Flume:分布式的海量日志采集系统。Kafka:分布式发布订阅消息系统ElasticSearch:分布式搜索引擎Kibana:ElasticSea

Kubernetes实战(十三)-使用kube-bench检测Kubernetes集群安全

1概述在当今云原生应用的开发中,Kubernetes已经成为标准,然而,随着其使用的普及,也带来了安全问题的挑战。本文将介绍如何使用kube-bench工具来评估和增强Kubernetes集群的安全性。2 CIS(CenterforInternetSecurity)简介CIS(CenterforInternetSecurity)是一家致力于网络安全的非营利组织。它提供一系列针对各种操作系统和应用程序的基线安全标准,这些标准被广泛认可,是防止网络攻击的有效手段。CIS基准是由美国计算机互联网安全中心(CenterforInternetSecurity,简称CIS)制定的一系列全球公认的最佳实践标

(二十五)大数据实战——kafka集群及Kafka-Eagle控制台安装与部署

前言本节内容我们主要介绍一下搭建kafka集群以及kafka集群的一个web客户端组件Kafka-Eagle的部署安装,使用的kafka版本是kafka_2.12-3.0.0。在搭建kafka集群之前,我们要预先搭建好zookeeper集群,这里作者默认zookeeper的集群环境已经搭建完成,可参考作者往期博客内容。新版本的kafka集群分为俩种搭建方式,一种依赖zookeeper,一种使用Kraft模式,本节内容我们主要介绍zookeeper模式的kafka集群搭建部署。正文①kafka高可用集群部署规划kafka高可用集群部署规划hadoop101hadoop102hadoop103zo

Kubernetes(k8s)上搭建nacos集群

Kubernetes上搭建nacos集群环境准备Kubernetes准备数据库准备部署nacos集群官方镜像地址创建configmap创建部署文件根据yaml资源清单文件部署nacos环境准备Kubernetes准备你需要准备一个Kubernetes集群,如图我的集群已经准备完毕:数据库准备nacos可以将配置文件存储到数据库当中,所以我们要先准备一个拥有nacos数据表结构的数据库,这样的数据库镜像我已经准备好了,当然你也可以自己制作这个镜像:registry.cn-shenzhen.aliyuncs.com/xiaohh-docker/nacos-mysql:2.0.4我之前写过一篇Kub

应用架构——集群、分布式、微服务的概念及异同

一、什么是集群?        集群是指将多台服务器集中在一起,每台服务器都实现相同的业务,做相同的事;但是每台服务器并不是缺一不可,存在的主要作用是缓解并发能力和单点故障转移问题。集群主要具有以下特征:(1)、伸缩性        在一些大系统中,预测最终用户的数量和行为是非常困难的,伸缩性是指系统使用不断增长的用户数的能 力;随着用户数的增长,我们只需将新的服务器加入集群中即可,对于用户来看,服务无论从连续性还是性能上都几乎没有变化,好像系统在不知不觉中完成了升级。(2)、高可用性        单一服务器的解决方案并不是一个健壮方式,因为容易出现单点失效,在某些关键的应用程序是不能容忍的

kafka3.6.0集群部署

环境准备机器环境系统主机名IP地址centos7.9kafka01192.168.200.51centos7.9kafka02192.168.200.52centos7.9kafka03192.168.200.53所需软件jdk-8u171-linux-x64.tar.gzapache-zookeeper-3.8.3-bin.tar.gzhttps://dlcdn.apache.org/zookeeper/zookeeper-3.8.3/apache-zookeeper-3.8.3-bin.tar.gzkafka_2.13-3.6.0.tgzhttps://downloads.apache.o

k8s实现外部访问minikube集群

minikube部署对外访问配置我们现在大家都知道了minikube集群相当于k8s的一个虚拟机。同时pod每次消亡重建之后都会分配一个虚拟的ip,这个ip可供集群内部访问,但是如果要对外访问呢?我们可以给他暴露ip出来,但是如果pod宕机后重建ip就发生了变化,所以不能对pod进行ip的暴露。那应该对什么进行暴露呢?我们首先需要了解service,简而言之,为了解决pod动态变化的虚拟ip,因此service相当于某组pod的外部访问接口。因此我们对service为单位进行ip的暴露即可。这同时也解决了在minikube中一开始学习的时候必须要进入minikube之后才可以访问pod的问题。

【运维知识大神篇】超详细的ELFK日志分析教程9(zookeeper集群部署+使用+leader选举流程+zab协议写入原理+kafka集群部署+zabbix监控zookeeper、kafka集群)

目录部署zookeeper单点部署zookeeper集群zookeeper的leader选举流程一、前情提要二、选举流程zookeeper基于zab协议写入数据原理一、前期提要二、写入流程zookeeper客户常用命令一、连接客户端二、zookeeper的基本使用使用zkWeb.jar来管理ZK集群KAFKA单点部署KAFKA集群部署扩展一、zabbix监控zookeeper、kafka集群二、Loki+Grafana当我们的数据足够多时,我们需要用到kafka的消息队列进行缓冲,消息队列优势有很多,例如可以削峰填谷,指流量图相对于不使用消息队列流量的流入比较平缓,减少服务器压力;还有应用解耦