部署 GlusterFS 群集以及破壞性測驗
- 部署 GlusterFS 群集
- 準備環境(所有node節點上操作)
- 1.關閉防火墻
- 2.磁盤磁區,并掛載
- 3.修改主機名,配置/etc/hosts檔案
- 安裝、啟動GlusterFS(所有node節點上操作)
- 添加節點到存盤信任池中(在 node1 節點上操作)
- 創建卷
- 根據規劃創建如下卷:
- 1.創建分布式卷
- 2.創建條帶卷
- 3.創建復制卷
- 4.創建分布式條帶卷
- 5.創建分布式復制卷
- 部署 Gluster 客戶端
- 1.安裝客戶端軟體
- 2.創建掛載目錄
- 3.配置 /etc/hosts 檔案
- 4.掛載 Gluster 檔案系統
- 測驗 Gluster 檔案系統
- 1.卷中寫入檔案,客戶端操作
- 2.查看檔案分布
- 查看分布式檔案分布
- 查看條帶卷檔案分布
- 查看復制卷分布
- 查看分布式條帶卷分布
- 查看分布式復制卷分布
- 破壞性測驗
- 掛起 node2 節點或者關閉glusterd服務來模擬故障
- 分布式卷資料查看
- 條帶卷
- 分布式條帶卷
- 分布式復制卷
- 掛起 node2 和 node4 節點,在客戶端上查看檔案是否正常
- 測驗分布式條卷是否正常
- 測驗分布式復制卷是否正常
- 其他的維護命令:
部署 GlusterFS 群集
- 節點配置
Node1節點:node1/192.168.199.40 磁盤:/dev/sdb1 掛載點:/data/sdb1
/dev/sdc1 /data/sdc1
/dev/sdd1 /data/sdd1
/dev/sde1 /data/sde1
Node2節點:node2/192.168.199.50 磁盤:/dev/sdb1 掛載點:/data/sdb1
/dev/sdc1 /data/sdc1
/dev/sdd1 /data/sdd1
/dev/sde1 /data/sde1
Node3節點:node3/192.168.199.60 磁盤:/dev/sdb1 掛載點:/data/sdb1
/dev/sdc1 /data/sdc1
/dev/sdd1 /data/sdd1
/dev/sde1 /data/sde1
Node4節點:node4/192.168.199.70 磁盤:/dev/sdb1 掛載點:/data/sdb1
/dev/sdc1 /data/sdc1
/dev/sdd1 /data/sdd1
/dev/sde1 /data/sde1
客戶端節點:192.168.199.20
準備環境(所有node節點上操作)
1.關閉防火墻
systemctl stop firewalld
setenforce 0
2.磁盤磁區,并掛載
vim /opt/fdisk.sh
#!/bin/bash
NEWDEV=`ls /dev/sd* | grep -o 'sd[b-z]' | uniq`
for VAR in $NEWDEV
do
echo -e "n\np\n\n\n\nw\n" | fdisk /dev/$VAR &> /dev/null
mkfs.xfs /dev/${VAR}"1" &> /dev/null
mkdir -p /data/${VAR}"1" &> /dev/null
echo "/dev/${VAR}"1" /data/${VAR}"1" xfs defaults 0 0" >> /etc/fstab
done
mount -a &> /dev/null
chmod +x /opt/fdisk.sh
cd /opt/
./fdisk.sh

3.修改主機名,配置/etc/hosts檔案
#以Node1節點為例:
hostnamectl set-hostname node1
su
echo "192.168.199.40 node1" >> /etc/hosts
echo "192.168.199.50 node2" >> /etc/hosts
echo "192.168.199.60 node3" >> /etc/hosts
echo "192.168.199.70 node4" >> /etc/hosts

安裝、啟動GlusterFS(所有node節點上操作)
#將gfsrepo 軟體上傳到/opt目錄下
cd /etc/yum.repos.d/
mkdir repo.bak
mv *.repo repo.bak
vim glfs.repo
[glfs]
name=glfs
baseurl=file:///opt/gfsrepo
gpgcheck=0
enabled=1
yum clean all && yum makecache
#yum -y install centos-release-gluster #如采用官方 YUM 源安裝,可以直接指向互聯網倉庫
yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma
systemctl start glusterd.service
systemctl enable glusterd.service
systemctl status glusterd.service


添加節點到存盤信任池中(在 node1 節點上操作)
#只要在一臺Node節點上添加其它節點即可
gluster peer probe node1
gluster peer probe node2
gluster peer probe node3
gluster peer probe node4
#在每個Node節點上查看群集狀態
gluster peer status

創建卷
根據規劃創建如下卷:
卷名稱 卷型別 Brick
dis-volume 分布式卷 node1(/data/sdb1)、node2(/data/sdb1)
stripe-volume 條帶卷 node1(/data/sdc1)、node2(/data/sdc1)
rep-volume 復制卷 node3(/data/sdb1)、node4(/data/sdb1)
dis-stripe 分布式條帶卷 node1(/data/sdd1)、node2(/data/sdd1)、node3(/data/sdd1)、node4(/data/sdd1)
dis-rep 分布式復制卷 node1(/data/sde1)、node2(/data/sde1)、node3(/data/sde1)、node4(/data/sde1)
1.創建分布式卷
#創建分布式卷,沒有指定型別,默認創建的是分布式卷
gluster volume create dis-volume node1:/data/sdb1 node2:/data/sdb1 force
#查看卷串列
gluster volume list
#啟動新建分布式卷
gluster volume start dis-volume
#查看創建分布式卷資訊
gluster volume info dis-volume

2.創建條帶卷
#指定型別為 stripe,數值為 2,且后面跟了 2 個 Brick Server,所以創建的是條帶卷
gluster volume create stripe-volume stripe 2 node1:/data/sdc1 node2:/data/sdc1 force
gluster volume start stripe-volume
gluster volume info stripe-volume

3.創建復制卷
#指定型別為 replica,數值為 2,且后面跟了 2 個 Brick Server,所以創建的是復制卷
gluster volume create rep-volume replica 2 node3:/data/sdb1 node4:/data/sdb1 force
gluster volume start rep-volume
gluster volume info rep-volume

4.創建分布式條帶卷
#指定型別為 stripe,數值為 2,而且后面跟了 4 個 Brick Server,是 2 的兩倍,所以創建的是分布式條帶卷
gluster volume create dis-stripe stripe 2 node1:/data/sdd1 node2:/data/sdd1 node3:/data/sdd1 node4:/data/sdd1 force
gluster volume start dis-stripe
gluster volume info dis-stripe

5.創建分布式復制卷
指定型別為 replica,數值為 2,而且后面跟了 4 個 Brick Server,是 2 的兩倍,所以創建的是分布式復制卷
gluster volume create dis-rep replica 2 node1:/data/sde1 node2:/data/sde1 node3:/data/sde1 node4:/data/sde1 force
gluster volume start dis-rep
gluster volume info dis-rep
gluster volume list


部署 Gluster 客戶端
1.安裝客戶端軟體
#將gfsrepo 軟體上傳到/opt目錄下
cd /etc/yum.repos.d/
mkdir repo.bak
mv *.repo repo.bak
vim glfs.repo
[glfs]
name=glfs
baseurl=file:///opt/gfsrepo
gpgcheck=0
enabled=1
yum clean all && yum makecache
yum -y install glusterfs glusterfs-fuse



2.創建掛載目錄
mkdir -p /test/{dis,stripe,rep,dis_stripe,dis_rep}
ls /test

3.配置 /etc/hosts 檔案
echo "192.168.199.40 node1" >> /etc/hosts
echo "192.168.199.50 node2" >> /etc/hosts
echo "192.168.199.60 node3" >> /etc/hosts
echo "192.168.199.70 node4" >> /etc/hosts

4.掛載 Gluster 檔案系統
#臨時掛載
mount.glusterfs node1:dis-volume /test/dis
mount.glusterfs node1:stripe-volume /test/stripe
mount.glusterfs node1:rep-volume /test/rep
mount.glusterfs node1:dis-stripe /test/dis_stripe
mount.glusterfs node1:dis-rep /test/dis_rep
df -Th
#永久掛載
vim /etc/fstab
node1:dis-volume /test/dis glusterfs defaults,_netdev 0 0
node1:stripe-volume /test/stripe glusterfs defaults,_netdev 0 0
node1:rep-volume /test/rep glusterfs defaults,_netdev 0 0
node1:dis-stripe /test/dis_stripe glusterfs defaults,_netdev 0 0
node1:dis-rep /test/dis_rep glusterfs defaults,_netdev 0 0


測驗 Gluster 檔案系統
1.卷中寫入檔案,客戶端操作
cd /opt
dd if=/dev/zero of=/opt/demo1.log bs=1M count=40
dd if=/dev/zero of=/opt/demo2.log bs=1M count=40
dd if=/dev/zero of=/opt/demo3.log bs=1M count=40
dd if=/dev/zero of=/opt/demo4.log bs=1M count=40
dd if=/dev/zero of=/opt/demo5.log bs=1M count=40
ls -lh /opt
cp demo* /test/dis
cp demo* /test/stripe/
cp demo* /test/rep/
cp demo* /test/dis_stripe/
cp demo* /test/dis_rep/



2.查看檔案分布
查看分布式檔案分布
[root@node1 ~]# ls -lh /data/sdb1 #資料沒有被分片
總用量 160M
-rw-r--r-- 2 root root 40M 3月 4 09:58 demo1.log
-rw-r--r-- 2 root root 40M 3月 4 09:58 demo2.log
-rw-r--r-- 2 root root 40M 3月 4 09:58 demo3.log
-rw-r--r-- 2 root root 40M 3月 4 09:58 demo4.log
[root@node2 ~]# ll -h /data/sdb1
總用量 40M
-rw-r--r-- 2 root root 40M 3月 4 09:58 demo5.log

查看條帶卷檔案分布
[root@node1 ~]# ls -lh /data/sdc1 #資料被分片50% 沒副本 沒冗余
總用量 100M
-rw-r--r-- 2 root root 20M 3月 4 09:58 demo1.log
-rw-r--r-- 2 root root 20M 3月 4 09:58 demo2.log
-rw-r--r-- 2 root root 20M 3月 4 09:58 demo3.log
-rw-r--r-- 2 root root 20M 3月 4 09:58 demo4.log
-rw-r--r-- 2 root root 20M 3月 4 09:58 demo5.log
[root@node2 ~]# ll -h /data/sdc1 #資料被分片50% 沒副本 沒冗余
總用量 100M
-rw-r--r-- 2 root root 20M 3月 4 09:58 demo1.log
-rw-r--r-- 2 root root 20M 3月 4 09:58 demo2.log
-rw-r--r-- 2 root root 20M 3月 4 09:58 demo3.log
-rw-r--r-- 2 root root 20M 3月 4 09:58 demo4.log
-rw-r--r-- 2 root root 20M 3月 4 09:58 demo5.log


查看復制卷分布
[root@node3 ~]# ll -h /data/sdb1 #資料沒有被分片 有副本 有冗余
總用量 200M
-rw-r--r-- 2 root root 40M 3月 4 09:58 demo1.log
-rw-r--r-- 2 root root 40M 3月 4 09:58 demo2.log
-rw-r--r-- 2 root root 40M 3月 4 09:58 demo3.log
-rw-r--r-- 2 root root 40M 3月 4 09:58 demo4.log
-rw-r--r-- 2 root root 40M 3月 4 09:58 demo5.log
[root@node4 ~]# ll -h /data/sdb1 #資料沒有被分片 有副本 有冗余
總用量 200M
-rw-r--r-- 2 root root 40M 3月 4 09:58 demo1.log
-rw-r--r-- 2 root root 40M 3月 4 09:58 demo2.log
-rw-r--r-- 2 root root 40M 3月 4 09:58 demo3.log
-rw-r--r-- 2 root root 40M 3月 4 09:58 demo4.log
-rw-r--r-- 2 root root 40M 3月 4 09:58 demo5.log


查看分布式條帶卷分布
[root@node1 ~]# ll -h /data/sdd1 #資料被分片50% 沒副本 沒冗余
總用量 80M
-rw-r--r-- 2 root root 20M 3月 4 09:58 demo1.log
-rw-r--r-- 2 root root 20M 3月 4 09:58 demo2.log
-rw-r--r-- 2 root root 20M 3月 4 09:58 demo3.log
-rw-r--r-- 2 root root 20M 3月 4 09:58 demo4.log
[root@node2 ~]# ll -h /data/sdd1
總用量 80M
-rw-r--r-- 2 root root 20M 3月 4 09:58 demo1.log
-rw-r--r-- 2 root root 20M 3月 4 09:58 demo2.log
-rw-r--r-- 2 root root 20M 3月 4 09:58 demo3.log
-rw-r--r-- 2 root root 20M 3月 4 09:58 demo4.log
[root@node3 ~]# ll -h /data/sdd1
總用量 20M
-rw-r--r-- 2 root root 20M 3月 4 09:58 demo5.log
[root@node4 ~]# ll -h /data/sdd1
總用量 40M
-rw-r--r-- 2 root root 40M 3月 4 09:58 demo5.log




查看分布式復制卷分布
#資料沒有被分片 有副本 有冗余
[root@node1 ~]# ll -h /data/sde1
總用量 160M
-rw-r--r-- 2 root root 40M 3月 4 09:58 demo1.log
-rw-r--r-- 2 root root 40M 3月 4 09:58 demo2.log
-rw-r--r-- 2 root root 40M 3月 4 09:58 demo3.log
-rw-r--r-- 2 root root 40M 3月 4 09:58 demo4.log
[root@node2 ~]# ll -h /data/sde1
總用量 160M
-rw-r--r-- 2 root root 40M 3月 4 09:58 demo1.log
-rw-r--r-- 2 root root 40M 3月 4 09:58 demo2.log
-rw-r--r-- 2 root root 40M 3月 4 09:58 demo3.log
-rw-r--r-- 2 root root 40M 3月 4 09:58 demo4.log
[root@node3 ~]# ll -h /data/sde1
總用量 40M
-rw-r--r-- 2 root root 40M 3月 4 09:58 demo5.log
[root@node3 ~]#
[root@node4 ~]# ll -h /data/sde1
總用量 40M
-rw-r--r-- 2 root root 40M 3月 4 09:58 demo5.log




破壞性測驗
掛起 node2 節點或者關閉glusterd服務來模擬故障
[root@node2 ~]# systemctl stop glusterd.service
- 在客戶端上查看檔案是否正常
分布式卷資料查看
[root@localhost dis]# ll #在客戶上發現少了demo5.log檔案,這個是在node2上的
總用量 163840
-rw-r--r-- 1 root root 41943040 3月 4 09:58 demo1.log
-rw-r--r-- 1 root root 41943040 3月 4 09:58 demo2.log
-rw-r--r-- 1 root root 41943040 3月 4 09:58 demo3.log
-rw-r--r-- 1 root root 41943040 3月 4 09:58 demo4.lo

條帶卷
[root@localhost text]# cd stripe/ #無法訪問,條帶卷不具備冗余性
[root@localhost stripe]# ll
總用量 0

分布式條帶卷
[root@localhost dis_stripe]# ll #無法訪問,分布條帶卷不具備冗余性
總用量 40960
-rw-r--r-- 1 root root 41943040 3月 4 09:58 demo5.log

分布式復制卷
[root@localhost dis_rep]# ll #可以訪問,分布式復制卷具備冗余性
總用量 204800
-rw-r--r-- 1 root root 41943040 3月 4 09:58 demo1.log
-rw-r--r-- 1 root root 41943040 3月 4 09:58 demo2.log
-rw-r--r-- 1 root root 41943040 3月 4 09:58 demo3.log
-rw-r--r-- 1 root root 41943040 3月 4 09:58 demo4.log
-rw-r--r-- 1 root root 41943040 3月 4 09:58 demo5.log

掛起 node2 和 node4 節點,在客戶端上查看檔案是否正常
#測驗復制卷是否正常
[root@localhost rep]# ls -l #在客戶機上測驗正常 資料有
總用量 204800
-rw-r--r-- 1 root root 41943040 3月 4 09:58 demo1.log
-rw-r--r-- 1 root root 41943040 3月 4 09:58 demo2.log
-rw-r--r-- 1 root root 41943040 3月 4 09:58 demo3.log
-rw-r--r-- 1 root root 41943040 3月 4 09:58 demo4.log
-rw-r--r-- 1 root root 41943040 3月 4 09:58 demo5.log

測驗分布式條卷是否正常
[root@localhost dis_stripe]# ll #在客戶機上測驗正常 沒有資料
總用量 0

測驗分布式復制卷是否正常
[root@localhost dis_rep]# ll #在客戶機上測驗正常 有資料
總用量 204800
-rw-r--r-- 1 root root 41943040 3月 4 09:58 demo1.log
-rw-r--r-- 1 root root 41943040 3月 4 09:58 demo2.log
-rw-r--r-- 1 root root 41943040 3月 4 09:58 demo3.log
-rw-r--r-- 1 root root 41943040 3月 4 09:58 demo4.log
-rw-r--r-- 1 root root 41943040 3月 4 09:58 demo5.log

- 上述實驗測驗,凡是帶復制資料,相比而言,資料比較安全
其他的維護命令:
1.查看GlusterFS卷
gluster volume list
2.查看所有卷的資訊
gluster volume info
3.查看所有卷的狀態
gluster volume status
4.停止一個卷
gluster volume stop dis-stripe
5.洗掉一個卷,注意:洗掉卷時,需要先停止卷,且信任池中不能有主機處于宕機狀態,否則洗掉不成功
gluster volume delete dis-stripe
6.設定卷的訪問控制
#僅拒絕
gluster volume set dis-rep auth.allow 192.168.199.100
#僅允許
gluster volume set dis-rep auth.allow 192.168.199.* #設定192.168.199.0網段的所有IP地址都能訪問dis-rep卷(分布式復制卷)
轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/266346.html
標籤:其他
