ceph运营篇mon节点出现如下告警：虽然文件系统显示根分区用了百分之六十八，但在ceph里面计算方式以及告警阈值设置不一样，故会根据不通设置告警。 查看/var/log/ceph/ceph.mon.node-3.log解决思路：一、删除根据目录下的没用的大文件；二、调整告警阈值、其中调整阈值方法如下：需要在三个节点执行如下命令：ceph--admin-daemon/var/run/ceph/ceph-mon.node-1.asokconfigsetmon_data_avail_warn20#节点node-1执行ceph--admin-daemon/var/run/ceph/ceph-mon.
minio非集群双机热备常规minio文件同步，都是使用minio做集群处理，但是如果实际生产环境条件达不到官方推荐的四节点，保证2n+1节点存活，也就说最低要求4台服务器文件存储专用但是如果项目要求是双机热备，而且还必须使用minio做文件存储，那为了实现无缝切换，做成集群的形式，是无法满足要求的所以查询大量资料后，决定使用minio的客户端mc来实现这一效果项目上有需求，需要两台单机minio做文件存储服务器并要求实现双机热备，文件需要实时同步准备两台服务器，各自部署minio，全部单机启动即可https://min.io/download#/kubernetesminio官网，不要去中文
一、搭建ES集群1.集群环境安装本集群使用Centos7.5操作系统，2G2C60G（如果主机好点的节点配置可以搞高点）分别修改三台集群服务器配置： 1.1.修改系统配置文件/etc/security/limits.conf*softnofile65536#设置每个进程可以打开的文件数的限制*hardnofile65536*softnproc2048#设置线程数*hardnproc40961.2.修改/etc/sysctl.conf#一个进程可以拥有的VMA数量设置为655360（默认为65536）vm.max_map_count=6553601.3.#sysctl-p 重新加载集群服务器如下
文章目录前言技术积累Spark简介Spark核心功能及优势Spark运行架构Spark独立集群搭建安装docker和docker-composedocker-compose编排docker-compose编排并运行容器Spark集群官方案例测试写在最后前言很多同学都使用过经典的大数据分布式计算框架hadoop，其分布式文件系统HDFS对数据管理很友好，但是计算能力较Spark还是不足。俗话说工欲善其事必先利其器，今天就介绍docker容器化部署Spark集群。技术积累Spark简介Spark是一种与Hadoop相似的开源集群计算环境，但是两者之间还存在一些不同之处，Spark启用了内存分布数据
欢迎访问我的GitHub这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos本篇概览前文《Docker下elasticsearch8部署、扩容、基本操作实战(含kibana)》介绍了用docker快速部署es和kibana的过程，然而整个过程人工操作步骤还是多了点，能不能更简单些呢？毕竟很多时候大家关注的是使用，不愿在部署上费太多时间借助docker-compose，可以将es集群+kibana的安装过程可以进一步简化，精简后的步骤如下图，已经省的不能再省了…本文会按照上述流程进行实战，一共实战两次：第一次部署带证书账号密码的安
前言跟着尚硅谷海哥文档搭建的Kafka集群环境，在此记录一下，侵删注意：博主在服务器上搭建环境的时候使用的是一个服务器，所以这篇博客可能会出现一些xsync分发到其他服务器时候的错误，如果你在搭建的过程中出现了错误，欢迎评论来访，我们一起解决。准备工作准备三台服务器：hadoop102，hadoop103，hadoop104，在opt文件下先创建两个文件module和softwareHadoop部分(Hadoop如果不使用的话，可以不用安装Hadoop，但是在此阶段的环境搭建还要进行)JDK的安装1、用XShell传输工具将JDK导入到opt目录下的software文件夹下面2、在softwa
Ubuntu上安装部署k8s集群一、基础环境准备（一）环境说明1.主机说明（二）环境操作1.设置Master与工作节点的机器名称及配置2.解析主机3.写入以下内容(注意IP地址和主机名换成自己的)：4.虚拟内存swap分区关闭5.开启防火墙的端口6.开启IPv4转发7.设置时间同步8.在各个主机中安装docker软件9.安装cri-dockerd组件10.安装Kubernetes二、单实例K8s集群部署（一）Master节点初始化1.查看初始化需要的镜像2.拉取镜像3.初始化节点4.配置环境变量5.切换普通模式（二）安装网络插件flannel（三）Node节点，加入集群 此处非常感谢江城琉璃
Elasticsearch是一个强大且可扩展的搜索和分析引擎，可用于索引和搜索大量数据。Elasticsearch通常用于集群环境中，以提高性能、提供高可用性并实现数据冗余。在本文中，我们将讨论如何在Ubuntu20.04上安装和配置具有多节点集群的Elasticsearch版本8。得益于Elasticsearch版本8的功能，现在部署Elasticsearch集群变得更加容易。你可以在此处查看有关安装的官方文档。在本文中，我们将使用ubuntudeb安装。 在我之前的文章“Elasticsearch:使用Debian安装包来安装Elasticsearch8.x”我详述了如何使用Debian
本文介绍了使用Prometheus对k8s集群外的elasticsearch进行监控，这里Prometheus是使用operator部署于k8s集群中，相较于进程部署或docker部署的Prometheus，部署过程更为复杂，不能通过直接修改配置文件的方式增加job，而需要采用k8s的方式进行配置。配置步骤为：1，增加endpoint和service，使k8s集群连接至集群外的服务（这里使集群外的elasticsearch服务）2，创建deployment，配置elasticsearch_exporter连接第1步的Service用于获取监控数据，并配置elasticsearch_export
关于我们要搭建的K8S：Docker版本：docker-ce-19.03.9；K8S版本：1.20.2；三个节点：master、node1、node2（固定IP）；容器运行时：仍然使用Docker而非Containerd；Pod网络：用Calico替换Flannel实现Pod互通，支持更大规模的集群；集群构建工具：Kubeadm（这个没啥好说的吧）；关于网络配置：整体机器采用NAT地址转换；各台虚拟机采用固定IP地址；虚拟机VMWare统一网关地址：192.168.32.2；具体IP地址分配如下：主机名称硬件配置IPmasterCPU4核/内存4G192.168.32.200node1CPU4
