一、Pool 相关操作

• 自恢复力： 你可以设置在不丢数据的前提下允许多少 OSD 失效，对多副本存储池来说，此值是一对象应达到的副本数。典型配置存储一个对象和它的一个副本（即 size=2 ），但你可以更改副本数；对纠删编码的存储池来说，此值是编码块数（即纠删码配置里的 m=2）。

• 归置组： 你可以设置一个存储池的归置组数量。典型配置给每个 OSD 分配大约 100 个归置组，这样，不用过多计算资源就能得到较优的均衡。配置了多个存储池时，要考虑到这些存储池和整个集群的归置组数量要合理。

• CRUSH 规则： 当你在存储池里存数据的时候，与此存储池相关联的 CRUSH 规则集可控制 CRUSH 算法，并以此操纵集群内对象及其副本的复制（或纠删码编码的存储池里的数据块）。你可以自定义存储池的 CRUSH 规则。

• 快照： 用 ceph osd pool mksnap 创建快照的时候，实际上创建了某一特定存储池的快照。

• 设置所有者： 你可以设置一个用户 ID 为一个存储池的所有者。

1. 创建 pool

# ceph osd pool create <poolname> <pg-num>

参数	说明
pg-num	存储池拥有的归置组(Placement Group)总数

2. pool 列表

# ceph osd lspools

3. pool 配额设置

max_objects 最大对象数
max_bytes 最大容量数  10GB = 10 * 1024 * 1024 * 1024
取消限制设置为 0 即可
# ceph osd pool set-quota <pool-name> max_objects|max_bytes <val>

4. pool 修改名称

# ceph osd pool rename <old-name> <new-name>

5. pool 删除

# ceph osd pool delete <pool-name> <pool-name> --yes-i-really-really-mean-it

6. 查看 pool 使用信息

# rados df

7. osd 映射详细信息查看 pool 信息

# ceph osd dump

pool 池信息
# ceph osd dump | grep pool

pool 副本数
# ceph osd dump | grep -i size
# ceph osd pool get <pool-name> size

8. pool 创建快照

pool 快照分两种模式

1. Pool Snapshot：正常创建 pool 快照时就是这种模式
2. Self Managed Snapsoht：librbd（块存储库）管理的快照。当 pool 中创建了 rbd image 时 转为这个模式

# ceph osd pool mksnap <pool-name> <pool-snap-name>

9. pool 删除快照

# ceph osd pool rmsnap <pool-snap-name>

10. pool其他设置

# ceph osd pool set <pool-name> 下面的参数 <val>

参数	说明
size	设置存储池中的对象副本数
min_size	设置 I/O 需要的最小副本数
crash_replay_interval	允许客户端重放确认而未提交请求的秒数
pgp_num	计算数据归置时使用的有效归置组数量
hashpspool nodelete nodelete nopgchange nosizechange write_fadvise_dontneed noscrub nodeep-scrub	给指定存储池设置/取消对应名称标志

其他参考官网文档

二、OSD 操作

0. 列出当前 osd

ceph osd tree

1. osd down

ceph osd out osd.xxx

2. 暂停 osd 服务

systemctl stop ceph-osd@xxxx.service

3. 删除 osd

ceph osd crush remove osd.xxx
ceph auth del osd.xxxx
ceph osd rm osd.xxx

4. 准备 osd

ceph-deploy 2.1 以后准备和激活合并为一个
ceph-deploy osd create --data /dev/sdxxx host_ip

ceph-deploy osd prepare host_ip:/dev/sdxxx

5. 激活 osd

ceph-deploy 2.1 以后准备和激活合并为一个
ceph-deploy osd create --data /dev/sdxxx host_ip

ceph-deploy osd activate host_ip:/dev/sdxxx

6. osd 使用情况

ceph osd df tree

三、RBD 块设备操作

块是一个字节序列（例如，一个 512 字节的数据块）。

基于块的存储接口是最常见的存储数据方法，它们基于旋转介质，像硬盘、 CD 、软盘、甚至传统的 9 磁道磁带。无处不在的块设备接口使虚拟块设备成为与 Ceph 这样的海量存储系统交互的理想之选。

Ceph 块设备是精简配置的、大小可调且将数据条带化存储到集群内的多个 OSD 。只有在你开始写入数据时它们才会占用物理空间。 Ceph 块设备利用 RADOS 的多种能力，如快照、复制和一致性。 Ceph 的 RADOS 块设备（ RBD ）使用内核模块或 librbd 库与 OSD 交互。

1. 创建块设备镜像

# rbd create --size <size-value> <pool-name>/<image-name>

2. 块设备镜像列表

# rbd ls <poolname>

3. 块设备镜像列表

# rbd info <pool-name>/<image-name>

4. 块设备镜像详情

# rbd info <pool-name>/<image-name>

5. 调整块设备映像大小

增加
# rbd resize --size <size-value> <image-name>
减小
# rbd resize --size <size-value> <image-name> --allow-shrink

6. 块设备镜像删除

# rbd rm <pool-name>/<image-name>

7. 块设备映射到系统内核

# rbd  map --pool  <pool-name> <image-name>

8. 查看已映射的设备

# rbd showmapped

9.取消映射

# rbd unmap /dev/rbd/<pool-name>/<imag-name>

10. 创建快照

# rbd snap create <pool-name>/<image-name>@<snap-name>

11. 列出快照

# rbd snap ls <pool-name>/<image-name>

12. 回滚快照

# rbd snap rollback <pool-name>/<image-name>@<snap-name>

13. 删除快照

# rbd snap rm <pool-name>/<image-name>@<snap-name>

14. 清除某个镜像所有快照

# rbd snap purge <pool-name>/<image-name>

15. 快照保护

克隆映像要访问父快照。如果用户不小心删除了父快照，所有克隆映像都会损坏。为防止数据丢失，在克隆前必须先保护快照。

开启保护
# rbd snap protect <pool-name>/<image-name>@<snap-name>
关闭保护
# rbd snap unprotect {pool-name}/{image-name}@{snapshot-name}

16. 快照克隆

必需开启保护的情况下

# rbd snap clone <pool-name>/<image-name>@<snap-name> <pool-name>/<child-image-name>

17. 列出所有子快照

# rbd children <pool-name>/<image-name>@< snapshot-name>

18. 父子快照取消关联

克隆出来的映像仍保留了对父快照的引用。要从子克隆删除这些到父快照的引用，你可以把快照的信息复制给子克隆，也就是 flatten 它。flatten 克隆映像的时间随快照尺寸增大而增加。要删除快照，必须先flatten 子映像。

# rbd flatten <pool-name>/<image-name>

19. 导出导入镜像

导出
# rbd export <pool-name>/<image-name> <save-path>

导入
# rbd import <image-path> <pool-name>/<image-name>

20. 查看镜像 watcher

rbd status<pool-name>/<image-name>

四、ceph monitor 相关操作

1. 查看 monitor 状态

# ceph mon stat

2. 查看 monitor 报告状态

# ceph mon_status

3. 移出 monitor 节点

# ceph mon remove <node-name>

五、其他常用命令

1. ceph 集群配置信息

ceph daemon /var/run/ceph/ceph-mon.$(hostname -s).asok config show

2. 所有节点同步配置信息

ceph-deploy  --overwrite-conf config push dlp node1 node2 node3

3. 检查 mon 是否添加成功

ceph quorum_status --format json-pretty

六、遇到问题

1. rbd snap unprotect 快照取消保护时被占用问题

报错如下：

root@test:~# rbd snap unprotect template/ubuntu18.04@template
2022-05-19 10:16:15.516768 7f3068ff9700 -1 librbd::SnapshotUnprotectRequest: cannot unprotect: at least 2 child(ren) [1c386b8b4567,282e46b8b4567] in pool 'images'
2022-05-19 10:16:15.516789 7f3068ff9700 -1 librbd::SnapshotUnprotectRequest: encountered error: (16) Device or resource busy
2022-05-19 10:16:15.516798 7f3068ff9700 -1 librbd::SnapshotUnprotectRequest: 0x559347856790 should_complete_error: ret_val=-16
2022-05-19 10:16:15.530950 7f3068ff9700 -1 librbd::SnapshotUnprotectRequest: 0x559347856790 should_complete_error: ret_val=-16

解决方法

1. 查看镜像被谁在用
rbd children template/ubuntu18.04

2. 解除他们之间的关系
rbd flatten images/i-qnepdubh

3. 然后就可以正常解除了
rbd snap unprotect template/ubuntu18.04@template

4. 情况快照内容
rbd snap purge template/ubuntu18.04

5. 删除快照
rbd snap rm template/ubuntu18.04