塊存盤管理系列文章

（1）RBD 基本使用 - Storage6

（2）iSCSI 網關管理 - Storage6

（3）使用 librbd 將虛擬機運行在 Ceph RBD

（4）RBD Mirror 容災

Ceph 塊存盤

Ceph 塊設備允許共享物理資源，并且可以調整大小，它們會在 Ceph 集群中的多個 OSD 上等量存盤資料，Ceph 塊設備會利用 RADOS 功能，例如創建快照、復制和一致性，Ceph 的 RADOS塊設備 (RBD) 使用內核模塊或 librbd 庫與 OSD 互動，

Ceph 的塊設備為內核模塊提供高性能及無限的可擴展性，它們支持虛擬化解決方案（例如QEMU）或依賴于 libvirt 的基于云的計算系統（例如 OpenStack），您可以使用同一個集群來同時操作物件網關、CephFS 和 RADOS 塊設備，

創建RBD

（1）客戶端安裝rbd包

# zypper se ceph-common# zypper in ceph-common

（2）顯示幫助資訊

# rbd help <command> <subcommand># rbd help snap list

（3）復制組態檔和key

# scp admin:/etc/ceph/ceph.conf .# scp admin:/etc/ceph/ceph.client.admin.keyring .

（4）創建塊設備

# ceph osd pool create rbd 128 128 replicated# rbd create test001 --size 1024 --pool rbd# rbd lstest001

（5）映射塊設備

# rbd map test001/dev/rbd0

（6）查看已映射設備

# rbd showmapped                       id pool image   snap device     0  rbd  test001 -    /dev/rbd0

（7）格式化塊設備，并且掛載

# mkfs.xfs -q /dev/rbd0# mkdir /mnt/ceph-test001# mount /dev/rbd/rbd/test001 /mnt/ceph-test001/

注意：rbd的指令如果省略-p / --pool引數，則會默認-p rbd，而這個rbd pool是默認生成的，

檢查掛載情況

# df -Th
Filesystem              Type      Size  Used Avail Use% Mounted on/dev/rbd0               xfs      1014M   33M  982M   4% /mnt/ceph-test001

檢查rbd鏡像的資訊

# rbd --image test001 inforbd image 'test001':        size 1 GiB in 256 objects        order 22 (4 MiB objects)        snapshot_count: 0        id: 408ea3f9d1c3b        block_name_prefix: rbd_data.408ea3f9d1c3b        format: 2        features: layering        op_features:         flags:         create_timestamp: Mon Sep 23 15:47:00 2019        access_timestamp: Mon Sep 23 15:47:00 2019        modify_timestamp: Mon Sep 23 15:47:00 2019

size: 就是這個塊的大小，即1024MB=1G，1024MB/256 = 4M,共分成了256個物件(object)，每個物件4M
order 22, 22是個編號，4M是22， 8M是23，也就是2^22 bytes = 4MB, 2^23 bytes = 8MB，
block_name_prefix: 這個是塊的最重要的屬性了，這是每個塊在ceph中的唯一前綴編號，有了這個前綴，把服務器上的OSD都拔下來帶回家，就能復活所有的VM了，
format : 格式有兩種，1和2

（8）設定自動掛載

# vim /etc/ceph/rbdmap  rbd/test001  id=admin,keyring=/etc/ceph/ceph.client.admin.keyring# systemctl start rbdmap.service # systemctl enable rbdmap.service # systemctl status rbdmap.service

# vim /etc/fstab /dev/rbd/rbd/test001 /mnt/ceph-test001 xfs defaults,noatime,_netdev 0 0# mount -a

RBD 擴容縮容

（1）查看rbd0 原有大小為1024M

# df -ThFilesystem              Type      Size  Used Avail Use% Mounted on/dev/rbd0               xfs      1014M   33M  982M   4% /mnt/ceph-test001
# rbd --image test001 info
rbd image 'test001':
        size 1 GiB in 256 objects
        order 22 (4 MiB objects)
        snapshot_count: 0
        id: 408ea3f9d1c3b
        block_name_prefix: rbd_data.408ea3f9d1c3b
        format: 2
        features: layering
        op_features: 
        flags:

（2）在線擴容

# rbd resize rbd/test001 --size 4096Resizing image: 100% complete...done.
# rbd --image test001 inforbd image 'test001':        size 4 GiB in 1024 objects        order 22 (4 MiB objects)        snapshot_count: 0        id: 408ea3f9d1c3b        block_name_prefix: rbd_data.408ea3f9d1c3b        format: 2        features: layering        op_features:         flags:         create_timestamp: Mon Sep 23 15:47:00 2019        access_timestamp: Mon Sep 23 15:47:00 2019        modify_timestamp: Mon Sep 23 15:47:00 2019

（3）檔案系統擴容

# xfs_growfs /mnt/ceph-test001/# df -ThFilesystem              Type      Size  Used Avail Use% Mounted on/dev/rbd0               xfs       4.0G   34M  4.0G   1% /mnt/ceph-test001

（4）在線縮小（XFS檔案系統不支持縮小）

# rbd -p rbd resize test001 --size 1024 --allow-shrink

RBD 快照和回滾

快照：某塊設備在一個特定時間點的一份只讀副本，可以通過創建和恢復快照來保持RBD鏡像的狀體已經從快斬訓復原始資料，
快照是在集群中操作，并不知道客戶端是否有額外的資料，當有很重的IO時，會有dirt臟資料沒有刷到磁盤上去，快照是無法保持這部分資料，
Ceph 支持快照分層，這可讓您輕松快速地克隆 VM 映像，
Ceph 使用 rbd 命令和許多高級介面（包括QEMU、 libvirt 、OpenStack 和 CloudStack）支持塊設備快照，
注意：做快照前，請先客戶端停止IO并同步塊資料，

1) 在block設備上創建檔案

# echo "Ceph This is snapshot test" > /mnt/ceph-test001/snapshot_test_file# cat /mnt/ceph-test001/snapshot_test_file Ceph This is snapshot test

2) 創建快照

語法：rbd snap create <pool-name>/<image-name>@<snap-name>

# rbd snap create rbd/test001@test001_snap

3) 顯示創建的快照

# rbd snap ls rbd/test001SNAPID NAME         SIZE TIMESTAMP                     4 test001_snap 1GiB Mon Feb 11 11:12:40 2019

4) 洗掉檔案

# rm -rf /mnt/ceph-test001/snapshot_test_file

5) 通過快斬訓復

語法：rbd snap rollback <pool-name>/<image-name>@<snap-name>

# rbd snap rollback rbd/test001@test001_snap         # umount /mnt/ceph-test001 # mount –a# ll /mnt/ceph-test001/total 4-rw-r--r-- 1 root root 33 Jul 16 09:19 snapshot_test_file

6) 清除快照，表示所有的快照都洗掉

語法：rbd --pool {pool-name} snap purge {image-name}

rbd snap purge {pool-name}/{image-name}

# rbd snap purge rbd/test001

7) 洗掉快照，表示只洗掉指定的快照

語法：rbd snap rm <pool-name>/<image-name>@<snap-name>

# rbd snap rm rbd/test001@test001_snap# rbd snap ls rbd/test001                # 再次顯示快照已經沒有了

快照分層 / RBD克隆

分層：支持創建某一設備快照的很多寫時復制（ COW）克隆，分層快照使得ceph塊設備客戶端可以很快地創建映射，分層特性允許客戶端創建多個Ceph RBD克隆實體，
快照是只讀的，但COW克隆是完全可寫的

（1）Clone必須rbd的image是型別 II

# rbd info test001rbd image 'test001':        size 4 GiB in 1024 objects        order 22 (4 MiB objects)        snapshot_count: 0        id: 408ea3f9d1c3b        block_name_prefix: rbd_data.408ea3f9d1c3b        format: 2        features: layering        op_features:         flags:         create_tim

（2）SUSE默認是型別II，如不是，創建時添加 --image-format 2引數

# rbd create test001 --size 1024 --image-format 2 # rbd create test002 --size 1024 --image-format 1# rbd info test002rbd image 'test002':        size 1024 MB in 256 objects        order 22 (4096 kB objects)        block_name_prefix: rb.0.b3dd.74b0dc51        format: 1

（3）創建COW克隆，首先要保護這個快照

克隆會訪問父快照，如果用戶意外洗掉了父快照，則所有克隆都會損壞，為了防止資料丟失，您需要先保護快照，然后才能克隆它，

# rbd snap create rbd/test001@test001_snap       # 創建快照# rbd snap protect rbd/test001@test001_snap      # 保護

# rbd -p rbd ls -l                          NAME                 SIZE  PARENT FMT PROT LOCK test001              4 GiB          2           test001@test001_snap 4 GiB          2 yes      <=== protect  test002              4 GiB          2

（4）快照克隆

語法：rbd clone {pool-name}/{parent-image}@{snap-name} {pool-name}/{child-image-name}

# rbd clone rbd/test001@test001_snap rbd/test001_snap_clone

注意：可以將快照從一個存盤池克隆到另一個存盤池中的映像，例如，可以在一個存盤池中將只讀映像和快照作為模板維護，而在另一個存盤池中維護可寫入克隆

# ceph osd pool create rbd_clone 128 128 replicated# rbd clone rbd/test001@test001_snap rbd_clone/test001_snap_rbd_clone

（5）檢查新鏡像資訊

# rbd ls
test001
test001_snap_clone
test002

# rbd ls -p rbd_clonetest001_snap_rbd_clone

# rbd info rbd/test001_snap_clonerbd image 'test001_snap_clone':        size 4 GiB in 1024 objects        order 22 (4 MiB objects)        snapshot_count: 0        id: 4153d12df2e2e        block_name_prefix: rbd_data.4153d12df2e2e        format: 2        features: layering        op_features:        flags:        create_timestamp: Mon Sep 23 20:23:01 2019        access_timestamp: Mon Sep 23 20:23:01 2019        modify_timestamp: Mon Sep 23 20:23:01 2019        parent: rbd/test001@test001_snap        overlap: 4 GiB

顯示children of snapshot

# rbd children rbd/test001@test001_snaprbd/test001_snap_clonerbd_clone/test001_snap_rbd_clone

（6）平展克隆的映像

不在使用父鏡像快照，所謂的完整克隆而不是之前的鏈接克隆，提高性能，

語法：# rbd --pool pool-name flatten --image image-name

# rbd flatten rbd/test001_snap_cloneImage flatten: 100% complete...done.

# rbd flatten rbd_clone/test001_snap_rbd_clone

會發現父鏡像/快照的名字不存在了，并且克隆是獨立的

# rbd info rbd/test001_snap_clonerbd image 'test001_snap_clone':        size 4 GiB in 1024 objects        order 22 (4 MiB objects)        snapshot_count: 0        id: 4153d12df2e2e        block_name_prefix: rbd_data.4153d12df2e2e        format: 2        features: layering        op_features:         flags:         create_timestamp: Mon Sep 23 20:23:01 2019        access_timestamp: Mon Sep 23 20:23:01 2019        modify_timestamp: Mon Sep 23 20:23:01 2019

（7）取消保護快照

# rbd info rbd/test001@test001_snap          
rbd image 'test001':        size 4 GiB in 1024 objects        order 22 (4 MiB objects)        snapshot_count: 1            .......        protected: True

# rbd snap unprotect rbd/test001@test001_snap # 取消保護的


# rbd info rbd/test001@test001_snap 
rbd image 'test001':
        size 4 GiB in 1024 objects
        order 22 (4 MiB objects)
           ......
        protected: False

遷移RBD

（1）匯出 RBD 鏡像

語法：rbd export [image-name] [dest-path]

# rbd export test001 /tmp/test001_rbd_image
Exporting image: 100% complete...done

（2）匯入 RBD 鏡像

語法：# rbd import [path] [dest-image]

# rbd import /tmp/test001_rbd_image test002      
Importing image: 100% complete...done.

# rbd ls
test001
test002

# rbd info test002
rbd image 'test002':
        size 4 GiB in 1024 objects
        order 22 (4 MiB objects)
        snapshot_count: 0
        id: 40b02f91b3a9d
        block_name_prefix: rbd_data.40b02f91b3a9d
        format: 2
        features: layering
        op_features: 
        flags:

如何確認 RBD 鏡像被那個客戶端使用？

（1）通過 rbd status 命令確認鏡像被那個客戶端所使用

# rbd -p rbd lstest001test002

# rbd status rbd/test001Watchers:        watcher=192.168.2.39:0/3075193743 client.264380 cookie=18446462598732840961

可以看到該鏡像或者instance屬于192.168.2.39 IP地址

（2）RBD 頭部資訊

查看鏡像資訊

# rbd info test001rbd image 'test001':        size 4 GiB in 1024 objects        order 22 (4 MiB objects)        snapshot_count: 0        id: 408ea3f9d1c3b        block_name_prefix: rbd_data.408ea3f9d1c3b        format: 2        features: layering

通過頭部資訊查找

# rados -p rbd listwatchers rbd_header.408ea3f9d1c3bwatcher=192.168.2.39:0/3075193743 client.264380 cookie=18446462598732840961

腳本通過遍歷池資訊查找

# for each in `rados -p rbd ls | grep rbd_header`; do echo $each: && rados -p \
　　rbd listwatchers $each && echo -e '\n';done
rbd_header.408ea3f9d1c3b:watcher=192.168.2.39:0/3075193743 client.264380 cookie=18446462598732840961

洗掉 RBD

1) 注釋映射資訊

# vim /etc/ceph/rbdmap   rbd/test001  id=admin,keyring=/etc/ceph/ceph.client.admin.keyring

2) 注釋下面掛載資訊

# vim /etc/fstab     /dev/rbd/rbd/test001 /mnt/ceph-test001 xfs defaults,noatime,_netdev 0 0

3) 顯示映射關系

# rbd showmapped id pool image   snap device    0  rbd  test001 -    /dev/rbd0

4) 卸載映射關系，洗掉test001塊設備

# rbd unmap /dev/rbd0# rbd rm rbd/test001

轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/65567.html

標籤：其他

上一篇：華三的s7506交換機怎么設定復雜密碼，關閉telent？

下一篇：telnet遠程控制的兩種配置

SUSE Ceph RBD 基本使用 - Storage6