草庐IT

rook-ceph

全部标签

ceph状态报:pgs not deep-scrubbed in time

问题描述ceph-s状态输出如下:分析过程scrubbed功能用于PG,是为了检测PG分布到各osds上的数据是否一致,deep-scrubbed的检测模式除了检测数据的元数据信息外,还会检测数据的内容是否一致,速度较慢且消耗磁盘读取,一般设置在晚上进行scrubbed,如果超过了设定时间,若有PG未进行deep-scrubbed,就会报警了解决办法**先查看哪些PG需要deep-scrubbed**cephhealthdetail再批量执行手动deep-scrubbed有规律就好办了:cephpgdeep-scrubPG_IDforiin`seq07`;docephpgdeep-scrub3

基于kubesphere的k8s环境部署三节点的rook-ceph集群

文章目录前言链接:[基于kubesphere的k8s环境部署单点版本的rook-ceph](https://blog.csdn.net/baidu_35848778/article/details/131050918)一、rook-ceph是什么?二、开始部署2.1环境准备2.2软件包准备,计算\存储节点执行2.3下载rook-ceph文件2.4部署operator2.5创建ceph集群2.6创建工具容器,检查集群状态2.7准备dashboard的nodeport端口映射服务2.8准备prometheus的metric端口映射服务三、创建存储类3.1创建cephrbd存储类3.2创建cephf

云原生之深入解析K8S中Ceph的部署与功能测试

一、前言Ceph在k8s中用做共享存储还是非常方便的,Ceph是比较老牌的分布式存储系统,非常成熟并且功能也强大,支持三种模式(快存储、文件系统存储、对象存储),那么如何在k8s使用ceph呢?k8s环境的部署,请参考:云原生之深入解析K8S1.24的高可用环境部署。关于Ceph的环境部署和实战操作,请参考:云原生之深入解析分布式存储系统Ceph的环境部署和实战操作。二、CephRook简介Rook是一个开源的云原生存储编排工具,提供平台、框架和对各种存储解决方案的支持,以和云原生环境进行本地集成。Rook将存储软件转变成自我管理、自我扩展和自我修复的存储服务,通过自动化部署、启动、配置、供应

k8s使用ceph存储

文章目录初始化操作k8s使用cephrbdvolumePV静态pv动态pvk8s使用cephfsvolume静态pv初始化操作ceph创建rbd存储池cephosdpoolcreatek8s-data3232replicatedcephosdpoolapplicationenablek8s-datarbdrbdpoolinit-pk8s-dataceph添加授权,需要创建两个用户,一个挂载rbd时使用,另一个挂载cephfs时使用cephauthget-or-createclient.k8s-usermon'allowr'mds'allow'osd'allow*pool=k8s-data'-o

Ceph-CephFS部署

什么是ceph?Ceph到底是什么Ceph是一个开放、自我修复和自我管理的统一分布式存储系统。具有高扩展性、高性能、高可靠性的优点。Ceph是一个可大规模伸缩的、开放的、软件定义的存储平台,它将Ceph存储系统的最稳定版本与Ceph管理平台、部署实用程序和支持服务相结合。也称为分布式存储系统,其出现是为了解决分布式文件系统元数据成为存储的瓶颈问题的,常规情况下元数据存储服务会成为整个存储的中心节点,而ceph利用了一致性hash计算的方式将查询变成了取膜计算的方式,将查询变成了实时运算☑Ceph是一个对象(object)式存储系统,它把每一个待管理的数据流(例如一个文件)切分为一到多个固定大小

Ceph-CephFS部署

什么是ceph?Ceph到底是什么Ceph是一个开放、自我修复和自我管理的统一分布式存储系统。具有高扩展性、高性能、高可靠性的优点。Ceph是一个可大规模伸缩的、开放的、软件定义的存储平台,它将Ceph存储系统的最稳定版本与Ceph管理平台、部署实用程序和支持服务相结合。也称为分布式存储系统,其出现是为了解决分布式文件系统元数据成为存储的瓶颈问题的,常规情况下元数据存储服务会成为整个存储的中心节点,而ceph利用了一致性hash计算的方式将查询变成了取膜计算的方式,将查询变成了实时运算☑Ceph是一个对象(object)式存储系统,它把每一个待管理的数据流(例如一个文件)切分为一到多个固定大小

【ceph相关】ceph基准性能测试工具

一、前言参考文档:RedHat-Ceph性能基准本篇主要介绍几种ceph原生基准性能测试工具以及各自对应使用方法不同于fio、vdbench等上层应用接口测试工具,ceph提供了一些自带的基准性能测试工具,用于测试rados、rbd等底层存储基准性能,可以比对底层基准性能和上层应用基准性能,确定潜在可调优的空间radosbenchradosbench为ceph自带的基准测试工具,radosbench用于测试rados存储池底层性能,该工具可以测试写、顺序读、随机读三种类型rbdbenchrbdbench为ceph自带的基准性能测试工具,rbdbench用于测试块设备的吞吐量二、radosben

Ceph pacific版本nfs共享集群建设

Cephpacific版本建设ganeshanfs集群以下教程针对使用cephadm部署ceph集群的用户在pacific版本中ceph利用nfs共享的配置已经非常简单,使用后端编排机制可以直接建立ganeshanfs集群,无需额外下载nfs服务端。首先得有一个文件系统用来共享出去,建立一个名字叫做cephfs的文件系统:cephfsvolumecreatecephfs其次建立nfs集群:#--port参数指定端口,因为默认服务器中或许会有nfs,默认端口都是2049,端口有可能冲突,test是集群名称cephnfsclustercreatetest--placement=3--port=98

Ceph iSCSI Gateway:tcmu-runner代码原理详解

文章目录背景本文结论代码详解创建块设备设置netlink添加块设备SCSI命令字处理获取命令字命令字处理exclusive-lock加锁流程参考文献背景tcmu-runner在cephiscsigateway中是linux内核到cephrbd间的桥梁,用于识别SCSI命令字,并根据命令字含义,调用librbd接口实现命令字的处理。详细描述见CephiSCSIGateway:架构原理详解一文。本文结论设备添加通过监听netlink识别iSCSI块设备添加。添加过程中mmap共享内存(用于内核和用户态的命令字传输),并进行rbd_open。SCSI命令字处理通过启动一个线程扫描mmap中为处理的命

linux - 无法使用 ceph-deploy : Error EACCES: access denied 部署 Ceph 管理器守护进程

我正在尝试使用此处的快速入门指南设置Ceph存储集群:http://docs.ceph.com/docs/master/start/quick-ceph-deploy/当我尝试使用此命令部署管理器守护程序时:ceph-deploymgrcreateenickel7我收到这个错误:[ceph_deploy.mgr][ERROR]OSError:[Errno2]Nosuchfileordirectory:'/var/lib/ceph/mgr/ceph-enickel7'[ceph_deploy][ERROR]GenericError:Failedtocreate1MGRs(enickel7