文章目錄
- 一、GlusterFS 簡介：
- 1.1：GlusterFS特點
- 1.2：GlusterFS術語
- 1.3：模塊化堆疊構建
- 二：GlusterFS作業原理
- 2.1：Gluester作業流程
- 2.1：彈性 HASH 演算法：
- 三：GlusterFS 的卷型別：
- 3.1：分布式卷
- 3.11：創建分布式卷
- 3.2：條帶卷
- 3.21：創建條帶卷
- 3.3：復制卷
- 3.31：創建復制卷
- 3.4：分布式條帶卷
- 3.41：創建分布式條帶卷
- 3.5：分布式復制卷
- 3.51：創建分布式復制卷
- 四：GlusterFS部署實操
- 4.1：配置四臺節點服務器
- 4.2：修改hosts檔案
- 4.3：掛載Gluster檔案系統跟修改fstab組態檔
- 4.4：安裝GlusterFS
- 4.5：時間同步，每臺節點都需要操作
- 4.6：添加加入存盤資訊池只要一臺主機上添加其他節點即可
- 五：創建各種卷
- 5.1：創建分布式卷
- 5.2：創建復制卷
- 5.3：創建分布式復制卷
- 5.4：破壞測驗
- 5.5：訪問控制
一、GlusterFS 簡介：
GFS是一個可擴展的分布式檔案系統，用于大型的、分布式的、對大量資料進行訪問的應用，它運行于廉價的普通硬體上，并提供容錯功能，它可以給大量的用戶提供總體性能較高的服務，
開源的分布式檔案系統；
由存盤服務器、客戶端以及 NFS/Samba 存盤網關組成；
1.1：GlusterFS特點
- 擴展性和高性能
- 高可用
- 全域統一命令空間
- 彈性卷管理
- 基于標準協議
1.2：GlusterFS術語
- Brick:GFS中的存盤單元，通過是一個受信存盤池中的服務器的一個匯出目錄，可以通過主機名和目錄名來標識，如’SERVER:EXPORT’
- Volume：卷
- FUSE：內核檔案系統，Filesystem Userspace是一個可加載的內核模塊，其支持非特權用戶創建自己的檔案系統而不需要修改內核代碼，通過在用戶空間運行檔案系統的代碼通過FUSE代碼與內核進行橋接，
- VFS：虛擬檔案系統
- Glusterd：Gluster management daemon，要在trusted storage pool中所有的服務器上運行，
1.3：模塊化堆疊構建
-
模塊化、堆疊式的架構 -
通過對模塊化的組合，實作復雜的功能
二：GlusterFS作業原理
2.1：Gluester作業流程
客戶端或應用程式通過GlusterFS的掛載點訪問資料linux系統內核通過VFS API收到請求并處理VFS將資料遞交給FUSE內核檔案系統, fuse檔案系統則是將資料通過/dev/fuse設備檔案遞交給了GlusterFS client端GlusterFS client 收到資料后，client根據組態檔的配置對資料進行處理通過網路將資料傳遞至遠端的GlusterFS Server,并且將資料寫入到服務器存盤設備上
2.1：彈性 HASH 演算法：
(1)通過 HASH 演算法得到一個32位的整數；
(2)劃分為 N 個連接的子空間，每個空間對應一個 Brick；
(3)彈性 HASH 演算法的優點：
(4)保證資料平均分布在每一個 Brick 中；
(5)解決了對元資料服務器的依賴，進而解決了單點故障以及服訪問瓶頸，
三：GlusterFS 的卷型別：
3.1：分布式卷
（1）沒有對檔案進行分塊處理；
（2）通過擴展檔案屬性保存 HASH值；
（3）支持的底層檔案系統有 ext3 、ext4 、ZFS 、XFS等
特點：
（1）檔案分布在不同的服務器，不具備冗余性；
（2）更容易和廉價地擴展卷的大小；
（3）單點故障會造成資料丟失；
（4）依賴底層的資料保護，
3.11：創建分布式卷
- 創建一個名為dis-volume的分布式卷，檔案將根據HASH分布在
server1:/dir1、server2:/dir2和server3:/dir3中
#gluster volume create dis-volume server1:/dir1 server2:ldir2
server3:/dir3
3.2：條帶卷
（1）根據偏移量將檔案分為 N 塊（N個條帶節點），輪詢的存盤在每個 Brick （2）Server 節點；
（3）存盤大檔案時，性能尤為突出；
（4）不具備冗余性，類似 raid0
從多個server中同時讀取檔案，效率提升
特點：
（1）資料被分割成更小塊分布到塊服務器群中的不同條帶區；
（2）分布減少了負載且更小的檔案加速了存取的速度；
（3）沒有資料冗余
3.21：創建條帶卷
- 創建了一個名為Stripe-volume的條帶卷，檔案將被分塊輪
詢的存盤在Server1:/dir1和Server2:/dir2兩個Brick中
#gluster volume create stripe-volume stripe 2 transport tcp server1:/dir1 server2:/dir2
3.3：復制卷
（1）同一個檔案保存一份或多分副本；
（2）復制模式因為要保存副本，所以磁盤利用率較低；
（3）多個節點上的存盤空間不一致，那么將安裝木桶效應取最低節點的容量（4）作為該卷的總容量
特點：
（1）卷中所有的服務器均保存一個完整的副本；
（2）卷的副本數量可由客戶創建的時候決定；
（3）至少由兩個塊服務器或更多服務器；
（4）具備容災性，
3.31：創建復制卷
- 創建名為rep-volume的復制卷，檔案將同時存盤兩個副本，分別
在Server1:/dir1和Server2:/dir2兩個Brick中
#gluster volume create rep-volume replica 2 transport tcp server1:/dir1 server2:/dir2
3.4：分布式條帶卷
分布式條帶卷：
（1）兼顧分布式和條帶卷的功能；
（2）主要用于大檔案訪問處理；
（3）至少最少需要 4 臺服務器，
3.41：創建分布式條帶卷
- 創建了名為dis-stripe的分布式條帶卷，配置分布式的條帶卷時，卷
中Brick所包含的存盤服務器數必須是條帶數的倍數(>=2倍)
#gluster volume create dis-stripe stripe 2 transport tcp server1:/dir1 server2：/dir2 server：/dir3 server4：/dir4
server2:/dir2 server3:/dir3 server4:/dir4
14/25,
3.5：分布式復制卷
（1）兼顧分布式卷和復制卷的功能；
（2）用于需要冗余的情況下
3.51：創建分布式復制卷
- 創建名為dis-rep的分布式條帶卷，配置分布式復制卷時，卷
中Brick所包含的存盤服務器數必須是條帶數的倍數(>=2倍)
# gluster volume create dis-rep replica 2 transport tcp server1:/dir1 server2:
/dir2 server3:/dir3 server4:/dir4
四：GlusterFS部署實操
- 五臺虛擬機：一臺作為客戶機，另外四臺作為節點，每個虛擬機新增4塊磁盤（每塊磁盤20G）
| 角色 | 空間大小 |
|---|---|
| node1【20.0.0.41】 | 20G×4 |
| node2【20.0.0.42】 | 20G×4 |
| node3【20.0.0.43】 | 20G×4 |
| node4【20.0.0.44】 | 20G×4 |
| 客戶端【20.0.0.45】 |
分別給四個節點服務器添加磁盤
4.1：配置四臺節點服務器
[root@localhost ~]# hostnamectl set-hostname node1
[root@localhost ~]# hostnamectl set-hostname node2
[root@localhost ~]# hostnamectl set-hostname node3
[root@localhost ~]# hostnamectl set-hostname node4
'//重啟查看磁區情況，四臺節點服務器一樣操作就不一一列舉了'
[root@node1 ~]# fdisk -l
'//關閉所有節點防火墻跟防護功能，否則下面配置查看其他節點服務器會有問題'
[root@node1 ~]# systemctl stop firewalld.service
[root@node1 ~]# setenforce 0
4.2：修改hosts檔案
（當用戶在瀏覽器中輸入一個需要登錄的網址時，系統會首先自動從Hosts檔案中尋找對應的IP地址，一旦找到，系統會立即打開對應網頁，如果沒有找到，則系統會再將網址提交DNS域名決議服務器進行IP地址的決議，），添加主機名和 IP地址
[root@node2 ~]# vim /etc/hosts
//
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
#下面添加
20.0.0.41 node1
20.0.0.42 node2
20.0.0.43 node3
20.0.0.44 node4
#把node1的hosts檔案遠程共享給另外三臺節點服務器
[root@node1 ~]# scp /etc/hosts root@20.0.0.42:/etc/hosts
...省略資訊....
Are you sure you want to continue connecting (yes/no)? yes '//輸入確認'
Warning: Permanently added '20.0.0.42' (ECDSA) to the list of known hosts.
root@20.0.0.42's password: '//輸入對方密碼'
hosts 100% 222 122.8KB/s 00:00
#一樣操作復制到node3/4節點服務器
[root@node1 ~]# scp /etc/hosts root@20.0.0.43:/etc/hosts
[root@node1 ~]# scp /etc/hosts root@20.0.0.44:/etc/hosts:
#一定要去服務器檢查組態檔是否正確
4.3：掛載Gluster檔案系統跟修改fstab組態檔
[root@node1 opt]# vim disk.sh
'//撰寫腳本'
#! /bin/bash
echo "the disks exist list:"
fdisk -l |grep '磁盤 /dev/sd[a-z]'
echo "=================================================="
PS3="chose which disk you want to create:"
select VAR in `ls /dev/sd*|grep -o 'sd[b-z]'|uniq` quit
do
case $VAR in
sda)
fdisk -l /dev/sda
break ;;
sd[b-z])
#create partitions
echo "n
p
w" | fdisk /dev/$VAR
#make filesystem
mkfs.xfs -i size=512 /dev/${VAR}"1" &> /dev/null
#mount the system
mkdir -p /data/${VAR}"1" &> /dev/null
echo -e "/dev/${VAR}"1" /data/${VAR}"1" xfs defaults 0 0\n" >> /etc/fstab
mount -a &> /dev/null
break ;;
quit)
break;;
*)
echo "wrong disk,please check again";;
esac
done
'//增加執行腳本'
[root@node1 opt]# chmod +x disk.sh
'//遠程復制腳本到另外三臺服務器'
[root@node1 opt]# scp disk.sh root@20.0.0.42:/opt
[root@node1 opt]# scp disk.sh root@20.0.0.43:/opt
[root@node1 opt]# scp disk.sh root@20.0.0.44:/opt
'//執行腳本'
[root@node1 opt]# ./disk.sh
the disks exist list:
磁盤 /dev/sda：322.1 GB, 322122547200 位元組，629145600 個扇區
磁盤 /dev/sdb：21.5 GB, 21474836480 位元組，41943040 個扇區
磁盤 /dev/sdc：21.5 GB, 21474836480 位元組，41943040 個扇區
磁盤 /dev/sde：21.5 GB, 21474836480 位元組，41943040 個扇區
磁盤 /dev/sdd：21.5 GB, 21474836480 位元組，41943040 個扇區
===========================================
1) sdb
2) sdc
3) sdd
4) sde
5) quit
chose which disk you want to create: //挨個輸出1-4創建磁區
'//查看掛載'
[root@node1 opt]# df -Th
檔案系統 型別 容量 已用 可用 已用% 掛載點
....省略資訊
/dev/sdc1 xfs 20G 33M 20G 1% /data/sdc1
/dev/sdd1 xfs 20G 33M 20G 1% /data/sdd1
/dev/sde1 xfs 20G 33M 20G 1% /data/s:de1
/dev/sdb1 xfs 20G 33M 20G 1% /data/sdb1
4.4：安裝GlusterFS
四個節點相同操作
[root@node1 ~]# wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
#清理yum源
[root@node1 ~]# yum clean all
#獲取yum源串列
[root@node1 ~]# yum list
#安裝gluster
[root@node1 ~]# yum -y install centos-release-gluster
[root@node1 ~]# yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma
#啟動glusterfs
systemctl start glusterd.service
#查看狀態
[root@node4 opt]# systemctl status :glusterd.service
4.5：時間同步，每臺節點都需要操作
- 這邊必須關閉防火墻
ntpdate ntp1.aliyun.com
4.6：添加加入存盤資訊池只要一臺主機上添加其他節點即可
[root@node1 ~]# gluster peer probe node2
peer probe: success.
[root@node1 ~]# gluster peer probe node3
peer probe: success.
[root@node1 ~]# gluster peer probe node4
peer probe: success.
#查看所有節點
[root@node1 ~]# gluster peer status
Number of Peers: 3
Hostname: node2
Uuid: 61ea3244-2d19-48dc-ab1c-e30bd4e7d01d
State: Peer in Cluster (Connected)
Hostname: node3
Uuid: 134437ba-1bce-4d4a-ab62-689f99796dba
State: Peer in Cluster (Connected)
Hostname: node4
Uuid: 72b81ad1-0428-4488-a146-c8a0d5b466f3
State: Peer in Cluster (Connected)
五：創建各種卷
5.1：創建分布式卷
'//在node4創建 利用node1和node2上的兩塊磁盤創建；dis-vol為磁盤名；force表示強制'
[root@node4 opt]# gluster volume create dis-vol node1:/data/sdb1 node2:/data/sdb1 forcevolume create: dis-vol: success: please start the volume to access data
#查看卷
[root@node4 opt]# gluster volume list
dis-vol
#啟動
[root@node4 opt]# gluster volume start dis-vol
volume start: dis-vol: success
#查看狀態
[root@node4 opt]# gluster volume info dis-vol
Volume Name: dis-vol
Type: Distribute
Volume ID: 351d5534-d3d1-450b-93c5-beac0a39e757
Status: Started
Snapshot Count: 0
Number of Bricks: 2
Transport-type: tcp
Bricks:
Brick1: node1:/data/sdb1
Brick2: node2:/data/sdb1
Options Reconfigured:
transport.address-family: inet
storage.fips-mode-rchecksum: on
nfs.disable: on
#如果不想用可以關閉
[root@node4 opt]# gluster volume stop dis-vol
#洗掉卷
[root@node4 opt]# gluster volume delete dis-vol
-
客戶端配置
-
關閉防火墻
-
配置安裝GFS源
[root@client ~]# systemctl stop firewalld.service
[root@client ~]# setenforce 0
1、先下載阿里云yum源：wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
2、清理yum源：yum clean all
3、獲取yum源串列：yum list
4、安裝：yum -y install centos-release-gluster
5、安裝軟體包：yum -y install glusterfs glusterfs-fuse
- 修改hosts檔案
vim /etc/hosts
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
#添加四個節點
20.0.0.41 node1
20.0.0.42 node2
20.0.0.43 node3
20.0.0.44 node4
創建臨時掛載點：
[root@client opt]# mkdir -p /test/dis #遞回創建掛載點
[root@client opt]# mount.glusterfs node2:dis-vol /test/dis #掛載分布式node2是隨意 寫 只要是地地址池里面的節點都行
[root@node4 opt]# df -Th
檔案系統 型別 容量 已用 可用 已用% 掛載點
，，，省略資訊
node2:dis-vol fuse.glusterfs 40G 475M 40G 2% /test/dis
40G:兩個空間20G加起來就是40G
- 測驗卷:創建5個40M的檔案
dd if=/dev/zero of=/demo1.log bs=1M count=40
dd if=/dev/zero of=/demo2.log bs=1M count=40
dd if=/dev/zero of=/demo3.log bs=1M count=40
dd if=/dev/zero of=/demo4.log bs=1M count=40
dd if=/dev/zero of=/demo5.log bs=1M count=40
#跟目錄查看5個檔案
[root@client ~]# cd /
[root@client /]# ls
bin demo2.log dev lib mnt root srv usr
boot demo3.log etc lib64 opt run sys var
demo1.log demo4.log home media proc sbin tmp
- 創建的5個檔案復制到不同的卷上
[root@client /]# cp demo* /test/dis
#查看
[root@client /]# ls /test/dis
demo1.log demo2.log demo3.log demo4.log demo5.log
//查看多大 每個都40M
-rw-r--r--. 1 root root 40M 9月 13 22:45 demo5.log
[root@client dis]# pwd
/test/dis
[root@client dis]# ll -h
總用量 200M
-rw-r--r--. 1 root root 40M 9月 13 22:45 demo1.log
-rw-r--r--. 1 root root 40M 9月 13 22:45 demo2.log
-rw-r--r--. 1 root root 40M 9月 13 22:45 demo3.log
-rw-r--r--. 1 root root 40M 9月 13 22:45 demo4.log
-rw-r--r--. 1 root root 40M 9月 13 22:45 demo5.log
-
去node1與node2查看
-
可以看出每個檔案按都是完整的
[root@node1 ~]# cd /data/sdb1
[root@node1 sdb1]# ll -h
總用量 160M
-rw-r--r--. 2 root root 40M 9月 13 22:45 demo1.log
-rw-r--r--. 2 root root 40M 9月 13 22:45 demo2.log
-rw-r--r--. 2 root root 40M 9月 13 22:45 demo3.log
-rw-r--r--. 2 root root 40M 9月 13 22:45 demo4.log
#node2查看一下
[root@node2 opt]# cd /data/sdb1
[root@node2 sdb1]# ll -h
總用量 40M
-rw-r--r--. 2 root root 40M 9月 13 22:45 demo5.log
5.2：創建復制卷
[root@node3 opt]# gluster volume create rep-vol replica 2 node3:/data/sdb1 noode4:/data/sdb1 force
#查看卷
[root@node3 opt]# gluster volume list
dis-vol
rep-vol
#啟動
[root@node3 opt]# gluster volume start rep-vol
- 客戶端掛載
'//創建掛載點'
[root@client dis]# mkdir /test/rep-vol
//掛載
[root@client dis]# mount.glusterfs node2:rep-vol /test/rep-vol/
#復制到掛載點
[root@client /]# cp demo* /test/rep-vol/
#node3節點查看
[root@node3 sdc1]# cd /data/sdb1
[root@node3 sdb1]# ll -h
總用量 200M
-rw-r--r--. 2 root root 40M 9月 13 23:23 demo1.log
-rw-r--r--. 2 root root 40M 9月 13 23:23 demo2.log
-rw-r--r--. 2 root root 40M 9月 13 23:23 demo3.log
-rw-r--r--. 2 root root 40M 9月 13 23:23 demo4.log
-rw-r--r--. 2 root root 40M 9月 13 23:23 demo5.log
#node4節點查看
[root@node4 opt]# cd /data/sdb1
[root@node4 sdb1]# ll -h
總用量 200M
-rw-r--r--. 2 root root 40M 9月 13 23:23 demo1.log
-rw-r--r--. 2 root root 40M 9月 13 23:23 demo2.log
-rw-r--r--. 2 root root 40M 9月 13 23:23 demo3.log
-rw-r--r--. 2 root root 40M 9月 13 23:23 demo4.log
-rw-r--r--. 2 root root 40M 9月 13 23:23 demo5.log
//node3跟node4均保留完整的副本 可靠安全的是復制卷 讀寫速度快的是條帶卷
5.3：創建分布式復制卷
[root@node4 ~]# gluster volume create dis-rep replica 2 node1:/data/sde1 node2:/data/sde1 node3:/data/sde1 node4:/data/sde1 force
//開啟
gluster volume start dis-stripe
gluster volume info dis-stripe
- 客戶端掛載
[root@client ~]# mkdir /test/dis-rep
[root@client ~]# mount.glusterfs node1:dis-rep /test/dis-rep/
#查看掛載
[root@client ~]# df -Th
檔案系統 型別 容量 已用 可用 已用% 掛載點
node1:dis-rep fuse.glusterfs 40G 475M 40G 2% /test/dis-rep
#復制卷到掛載卷
[root@client /]# cp demo* /test/dis-rep/
#去node1節點查看
[root@node1 ~]# cd /data/sde1
[root@node1 sde1]# ll -h
總用量 160M
-rw-r--r--. 2 root root 40M 9月 14 09:04 demo1.log
-rw-r--r--. 2 root root 40M 9月 14 09:04 demo2.log
-rw-r--r--. 2 root root 40M 9月 14 09:04 demo3.log
-rw-r--r--. 2 root root 40M 9月 14 09:04 demo4.log
#node2節點查看
[root@node2 ~]# cd /data/sde1
[root@node2 sde1]# ll -h
總用量 160M
-rw-r--r--. 2 root root 40M 9月 14 09:04 demo1.log
-rw-r--r--. 2 root root 40M 9月 14 09:04 demo2.log
-rw-r--r--. 2 root root 40M 9月 14 09:04 demo3.log
-rw-r--r--. 2 root root 40M 9月 14 09:04 demo4.log
#node3查看
[root@node3 ~]# cd /data/sde1
[root@node3 sde1]# ll -h
總用量 40M
-rw-r--r--. 2 root root 40M 9月 14 09:04 demo5.log
#node4查看
[root@node4 ~]# cd /data/sde1
[root@node4 sde1]# ll -h
總用量 40M
-rw-r--r--.: 2 root root 40M 9月 14 09:04 demo5.log
5.4：破壞測驗
關閉node2服務器觀察結果
[root@client /]# cd /test/
[root@client test]# ls
dis dis-rep rep-vol
[root@client test]# ls dis #查看分布卷
demo1.log demo2.log demo3.log demo4.log //這邊缺少deme05.log
[root@client test]# ls dis-rep/ #查看復制卷
demo1.log demo2.log demo3.log demo4.log demo5.log #這邊是完整的
[root@client test]# ls rep-vol/
demo1.log demo2.log demo3.log demo4.log demo5.log #查看分布式復制卷 也是完整的
5.5：訪問控制
//僅拒絕
[root@node1 yum.repos.d]# gluster volume set dis-vol auth.reject 20.0.0.42
volume set: success
//僅允許
[root@node1 yum.repos.d] gluster volume set dis-vol auth.allow 20.0.0.42
volume set: success
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/52105.html
標籤：python
上一篇：求助啊，快被這程式設計逼瘋了