部署ceph集群架構+Dashboard出圖

概述

Ceph是一種為優秀的性能、可靠性和可擴展性而設計的統一的、分布式檔案系統，
Ceph是一個開源的分布式檔案系統，因為它還支持塊存盤、物件存盤，所以很自然的被用做云計算框架openstack或cloudstack整個存盤后端，
當然也可以單獨作為存盤，例如部署一套集群作為物件存盤、SAN存盤、NAS存盤等，
可以作為k8s的存盤類，來方便容器持久化存盤，

支持格式

物件存盤：即radosgw,兼容S3介面，通過rest api上傳、下載檔案，
檔案系統：posix介面，可以將ceph集群看做一個共享檔案系統掛載到本地，
塊存盤：即rbd，有kernel rbd和librbd兩種使用方式，支持快照、克隆，相當于一塊硬碟掛到本地，用法和用途和硬碟一樣，比如在OpenStack專案里，Ceph的塊設備存盤可以對接OpenStack的后端存盤

優勢

統一存盤：雖然ceph底層是一個分布式檔案系統，但由于在上層開發了支持物件和塊的介面
高擴展性：擴容方便、容量大，能夠管理上千臺服務器、EB級的容量，
高可靠性：支持多份強一致性副本，EC，副本能夠垮主機、機架、機房、資料中心存放，所以安全可靠，存盤節點可以自管理、自動修復，無單點故障，容錯性強，
高性能：因為是多個副本，因此在讀寫操作時候能夠做到高度并行化，理論上，節點越多，整個集群的IOPS和吞吐量越高，另外一點ceph客戶端讀寫資料直接與存盤設備(osd) 互動，

1.集群規劃

2.部署程序

1.給三臺node節點添加一塊大小5G以上的磁盤，
2.所有節點修改主機名并相互決議
3.關閉所有機器的防火墻和selinux

所有節點做hosts決議

#做hosts決議(直接復制粘貼即可)
vim /etc/hosts
i127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
10.0.0.130 admin
10.0.0.131 node1
10.0.0.132 node2
10.0.0.133 node3
10.0.0.134 ceph-client
#hosts檔案分發到其他的幾臺機器使其相同
scp -rp /etc/hosts root@10.0.0.13?:/etc/hosts

做免秘鑰登錄

#生成秘鑰
[cephu@admin ~]$ ssh-keygen
#推送到別的節點
ssh-copy-id root@10.0.0.131
ssh-copy-id root@10.0.0.132
ssh-copy-id root@10.0.0.133
ssh-copy-id root@10.0.0.134
#免秘鑰連接
ssh root@node1
ssh root@node2
ssh root@node3
ssh root@ceph-client

添加yum源(所有節點)

#所有節點換yum源(阿里云的源)
curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
curl -o /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo

#撰寫配置軟體下載的組態檔
[root@ceph1 ~]# cd /etc/yum.repos.d/
[root@ceph1 yum.repos.d]# vim ceph.repo
[ceph_x86]
name=ceph_x86
baseurl=https://mirrors.tuna.tsinghua.edu.cn/ceph/rpm-nautilus/el7/x86_64/
gpgcheck=0

[ceph_noarch]
name=ceph_noarch
baseurl=https://mirrors.tuna.tsinghua.edu.cn/ceph/rpm-nautilus/el7/noarch/
gpgcheck=0
##復制/粘貼--即可直接撰寫
vim /etc/yum.repos.d/ceph.repo 
i[ceph_x86]
name=ceph_x86
baseurl=https://mirrors.tuna.tsinghua.edu.cn/ceph/rpm-nautilus/el7/x86_64/
gpgcheck=0

[ceph_noarch]
name=ceph_noarch
baseurl=https://mirrors.tuna.tsinghua.edu.cn/ceph/rpm-nautilus/el7/noarch/
gpgcheck=0

#修改yum,下載的rpm包保存到本地(如果網特別慢的情況下可以使用保存rpm的方式,一臺下載完成后scp到另外的幾臺.)
[root@ceph3 ~]# vim /etc/yum.conf 
[main]
cachedir=/var/cache/yum/$basearch/$releasever
keepcache=1

##一臺機器的yum源做好以后可以使用scp -rp的方式把/etc/yum.repo.d/下的所有源推送到其他的服務器上
scp -rp /etc/yum.repos.d/* root@10.0.0.13?:/etc/yum.repos.d

下載軟體

#admin下載
yum -y install ceph-deploy
#node1..3下載
yum -y install ceph-deploy
yum install ceph ceph-mon ceph-mgr ceph-radosgw.x86_64 ceph-mds.x86_64 ceph-osd.x86_64 -y

3.部署ceph集群

#注意！！以下所有操作均是在admin節點
1.創建ceph操作目錄
[root@admin ~]$ mkdir my-cluster   #之后，所有ceph-deploy命令操作必須在該目錄下執行

2.創建集群---這里報錯查看后面的錯誤整理
首先在這里需要先下載一個包并安裝否則會報錯，然后在創建集群
[root@admin ~]$ wget https://files.pythonhosted.org/packages/5f/ad/1fde06877a8d7d5c9b60eff7de2d452f639916ae1d48f0b8f97bf97e570a/distribute-0.7.3.zip
[root@admin ~]$ unzip distribute-0.7.3.zip
[root@admin ~]$ cd distribute-0.7.3
[root@admin distribute-0.7.3]$ sudo python setup.py install
創建集群
[root@admin ~]$ cd my-cluster/
[root@admin my-cluster]$ ceph-deploy new node1
[root@admin my-cluster]$ ls
ceph.conf  ceph-deploy-ceph.log  ceph.mon.keyring
創建成功會有三個檔案：ceph.conf, ceph.mon.keyring, and a log file

3.測驗是否安裝成功
#分別在node1,node2.node3中確認安裝版本是否是同一版本
[root@node1 ~]$ ceph --version 

4.初始化mon：admin節點
[admin@admin my-cluster]$ ceph-deploy mon create-initial

5.賦予各個節點使用命令免用戶名權限：
[cephu@admin my-cluster]$ ceph-deploy admin node1 node2 node3

6.安裝ceph-mgr：只有luminous才有，為使用dashboard做準備
[cephu@admin my-cluster]$ ceph-deploy mgr create node1

7.添加osd：
注意：各個節點上提供存盤空間的磁盤大小不能太小，最好5G以上，注意檢查你的磁盤名字
[root@admin my-cluster]$ ceph-deploy osd create --data /dev/sdb node1
[root@admin my-cluster]$ ceph-deploy osd create --data /dev/sdb node2
[root@admin my-cluster]$ ceph-deploy osd create --data /dev/sdb node3
命令中/dev/sdb是在各個節點上為osd準備的空閑磁盤（無需磁區格式化，如果有磁區需要指定具體磁區），
通過如下命令查看：
[root@admin my-cluster]$ ssh node1 lsblk -f
最后通過如下命令查看集群狀態：
[root@admin my-cluster]$ ssh node1 sudo ceph -s
如果顯示health_ok，3個osd up就成功了

4.Dashboard的配置

1.下載ceph-mgr-dashboard
yum install -y ceph-mgr-dashboard
2.添加mgr功能
ceph-deploy mgr create node1 node2 node3
3.開啟dashboard功能
ceph mgr module enable dashboard
4.創建證書
ceph dashboard create-self-signed-cert
5.創建web登錄用戶密碼
ceph dashboard set-login-credentials user-name password
6.查看服務訪問方式
ceph mgr services