Ceph分布式存盤系列（二）：ceph-deploy方式部署三節點ceph集群-有解無憂

承接上文：Ceph分布式存盤系列（一）：Ceph作業原理及架構淺析梳理
之前都是使用Deepsea方式部署的ceph，長時間不用ceph-deploy了，這次來回顧，順便總結下！

前言：

ceph-deploy部署方式ceph官方通知已不再維護，沒有在Nautilus(v14.x)之后的版本測驗過，也不支持在centos8系列版本上運行，不過我們在centos7及6版本中還是可以使用的，
詳細的可查看官方說明
官方宣告：https://docs.ceph.com/en/latest/install/

ceph-deploy is a tool for quickly deploying clusters.
Important：ceph-deploy is no longer actively maintained. It is not tested on versions of Ceph newer than Nautilus. It does not support RHEL8, CentOS 8, or newer operating systems.

一、部署準備

本次使用Ceph版本：

Ceph：Nautilus（14.2.9）
Ceph-deploy：2.0.1

本次測驗節點資訊：

IP地址	主機名	附加磁盤（OSD）	集群角色
192.168.56.125	ceph-node1	一塊10G磁盤（/dev/sdb）	mon，mgr，osd0（主節點）
192.168.56.126	ceph-node2	一塊10G磁盤（/dev/sdb）	osd1
192.168.56.127	ceph-node3	一塊10G磁盤（/dev/sdb）	osd2

如果環境允許，可以用一個ceph-admin節點專門放置mon,mgr,mds等這些組件，osd放置在其他節點，更便于管理

服務器系統版本

[root@ceph-node1 ~]# cat /etc/centos-release
CentOS Linux release 7.8.2003 (Core)

1、關閉防火墻和selinux

sed -i  "s/SELINUX=enforcing/SELINUX=permissive/g" /etc/selinux/config
setenforce 0
systemctl stop firewalld
systemctl disable firewalld

2、配置hosts檔案

保證集群內主機名與ip決議正常（每個節點都需要配置）
[root@ceph-node1 ~]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.56.125  ceph-node1
192.168.56.126  ceph-node2
192.168.56.127  ceph-node3
[root@ceph-node1 ~]# ping ceph-node2
PING ceph-node2 (192.168.56.126) 56(84) bytes of data.
64 bytes from ceph-node2 (192.168.56.126): icmp_seq=1 ttl=64 time=0.616 ms
…………

3、創建部署用戶及配置sudo權限（所有節點都執行）

a.考慮到使用root用戶的安全性問題，所以這里創建一個 ceph-admin 普通用戶做為部署及運維使用
b.再加上ceph-deploy會在節點安裝軟體包，所以創建的用戶需要無密碼 sudo 權限

[root@ceph-node1 ~]# useradd ceph-admin
[root@ceph-node1 ~]# echo "123456" | passwd --stdin ceph-admin
Changing password for user ceph-admin.
passwd: all authentication tokens updated successfully.

[root@ceph-node1 ~]# echo "ceph-admin ALL = NOPASSWD:ALL" | tee /etc/sudoers.d/ceph-admin
ceph-admin ALL = NOPASSWD:ALL
[root@ceph-node1 ~]# chmod 0440 /etc/sudoers.d/ceph-admin
[root@ceph-node1 ~]# ll /etc/sudoers.d/ceph-admin
-r--r-----. 1 root root 30 Oct 19 16:06 /etc/sudoers.d/ceph-admin

測驗
[root@ceph-node1 ~]# su - ceph-admin
Last login: Mon Oct 19 16:11:51 CST 2020 on pts/0
[ceph-admin@ceph-node1 ~]$ sudo su -
Last login: Mon Oct 19 16:12:04 CST 2020 on pts/0
[root@ceph-node1 ~]# exit
logout
[ceph-admin@ceph-node1 ~]$ exit
logout

4、配置ssh無密碼訪問（在主節點node1上執行）

[root@ceph-node1 ~]# su - ceph-admin
[ceph-admin@ceph-node1 ~]$ ssh-keygen          （每一步都按回車，口令密碼留空）
[ceph-admin@ceph-node1 ~]$ ssh-copy-id ceph-admin@ceph-node1
[ceph-admin@ceph-node1 ~]$ ssh-copy-id ceph-admin@ceph-node2
[ceph-admin@ceph-node1 ~]$ ssh-copy-id ceph-admin@ceph-node3

5、配置ntp時間同步

配置時間同步目的：因在時間一致的情況下，才可保證集群正常運行
配置時間同步方式：node1連接網路上的ntp服務器同步時間，node2,3連接node1同步時間（即node1既為ntp服務端，也為客戶端）
注：ntpd啟動后需要等待幾分鐘去同步

yum -y intall ntp（安裝ntp，全部節點都需要執行）

node1節點操作：
vim /etc/ntp.conf
注釋掉默認的配置項：
    #server 0.centos.pool.ntp.org iburst
    #server 1.centos.pool.ntp.org iburst
    #server 2.centos.pool.ntp.org iburst
    #server 3.centos.pool.ntp.org iburst
添加配置項：
server  ntp1.aliyun.com     #阿里云ntp服務器
server 127.127.1.0     #本地ntp服務器，配置此項是為了在外網ntp連接例外的情況下還能保證ntp正常，維護集群穩定

node2/node3節點操作：
vim /etc/ntp.conf
同樣注釋掉默認的server配置項：
添加配置項：
server 192.168.56.125     #node1-ntp服務器

全部節點都執行：
systemctl restart ntpd
systemctl enable ntpd

查看ntp連接情況和狀態
[root@ceph-node1 ~]# ntpq -p
     remote           refid      st t when poll reach   delay   offset  jitter
==============================================================================
*120.25.115.20   10.137.53.7      2 u   41  128  377   30.382   -1.019   1.001
 LOCAL(0)        .LOCL.           5 l  806   64    0    0.000    0.000   0.000
 
 [root@ceph-node2 ~]# ntpq -p
     remote           refid      st t when poll reach   delay   offset  jitter
==============================================================================
*ceph-node1      120.25.115.20    3 u   20   64  377    2.143   33.254  10.350

[root@ceph-node1 ~]# ntpstat
synchronised to NTP server (120.25.115.20) at stratum 3
   time correct to within 27 ms
   polling server every 128 s

二、開始部署Ceph集群

1、添加阿里云的base源和epel源（所有節點都執行）

備份系統原本的源
[root@ceph-node1 ~]# mkdir /mnt/repo_bak
[root@ceph-node1 ~]# mv /etc/yum.repos.d/* /mnt/repo_bak
添加新源
[root@ceph-node1 ~]# wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
[root@ceph-node1 ~]# wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo

2、添加ceph的yum源（所有節點都執行）

注意事項：
這里的yum源是確定了ceph的版本，在源中的baseurl項中rpm-nautilus即代表著是ceph的nautilus版本的rpm包（nautilus是ceph的14.x版本）如果需要安裝其他版本，還需要替換為其他版本號，12.x版本是luminous，13.x版本是rpm-mimic，詳情可以去ceph官方源中查看：https://download.ceph.com/

vim /etc/yum.repos.d/ceph.repo
[Ceph]
name=Ceph
baseurl=http://download.ceph.com/rpm-nautilus/el7/x86_64
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc
priority=1

[Ceph-noarch]
name=Ceph noarch packages
baseurl=http://download.ceph.com/rpm-nautilus/el7/noarch
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc
priority=1

[ceph-source]
name=Ceph source packages
baseurl=http://download.ceph.com/rpm-nautilus/el7/SRPMS
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc
priority=1

更新yum快取及系統軟體
yum makecache
yum -y update

可查看ceph版本，判斷yum是否配置正確

[root@ceph-node1 yum.repos.d]# yum list ceph --showduplicates |sort -r
 * updates: mirrors.cn99.com
Loading mirror speeds from cached hostfile
Loaded plugins: fastestmirror
 * extras: mirrors.163.com
ceph.x86_64                         2:14.2.9-0.el7                          Ceph
ceph.x86_64                         2:14.2.8-0.el7                          Ceph
ceph.x86_64                         2:14.2.7-0.el7                          Ceph
ceph.x86_64                         2:14.2.6-0.el7                          Ceph
ceph.x86_64                         2:14.2.5-0.el7                          Ceph
ceph.x86_64                         2:14.2.4-0.el7                          Ceph
ceph.x86_64                         2:14.2.3-0.el7                          Ceph
ceph.x86_64                         2:14.2.2-0.el7                          Ceph
ceph.x86_64                         2:14.2.11-0.el7                         Ceph
ceph.x86_64                         2:14.2.1-0.el7                          Ceph
ceph.x86_64                         2:14.2.10-0.el7                         Ceph
ceph.x86_64                         2:14.2.0-0.el7                          Ceph
ceph.x86_64                         2:14.1.1-0.el7                          Ceph
ceph.x86_64                         2:14.1.0-0.el7                          Ceph
 * base: mirrors.163.com
Available Packages

[root@ceph-node1 yum.repos.d]# yum list ceph-deploy --showduplicates |sort -r
 * updates: mirrors.cn99.com
Loading mirror speeds from cached hostfile
Loaded plugins: fastestmirror
 * extras: mirrors.163.com
ceph-deploy.noarch                     2.0.1-0                       Ceph-noarch
ceph-deploy.noarch                     2.0.0-0                       Ceph-noarch
ceph-deploy.noarch                     1.5.39-0                      Ceph-noarch
ceph-deploy.noarch                     1.5.38-0                      Ceph-noarch
ceph-deploy.noarch                     1.5.37-0                      Ceph-noarch
ceph-deploy.noarch                     1.5.36-0                      Ceph-noarch
ceph-deploy.noarch                     1.5.35-0                      Ceph-noarch
ceph-deploy.noarch                     1.5.34-0                      Ceph-noarch
ceph-deploy.noarch                     1.5.33-0                      Ceph-noarch
ceph-deploy.noarch                     1.5.32-0                      Ceph-noarch
ceph-deploy.noarch                     1.5.31-0                      Ceph-noarch
ceph-deploy.noarch                     1.5.30-0                      Ceph-noarch
ceph-deploy.noarch                     1.5.29-0                      Ceph-noarch
 * base: mirrors.163.com
Available Packages

3、安裝ceph-deploy（在主節點node1上執行）

[root@ceph-node1 ~]# su - ceph-admin
[ceph-admin@ceph-node1 ~]$ sudo yum -y install python-setuptools   #安裝ceph依賴包
[ceph-admin@ceph-node1 ~]$ sudo yum install ceph-deploy  （默認會選擇安裝2.0最新版本）

查看ceph-deploy安裝版本
[root@ceph-node1 ~]# ceph-deploy --version
2.0.1

4、初始化集群（在主節點node1上執行）

創建集群安裝目錄（ceph-deploy部署程式會將檔案輸出到當前目錄）

[ceph-admin@ceph-node1 ~]$ mkdir cluster
[ceph-admin@ceph-node1 ~]$ cd cluster/

創建集群（后邊是指定哪些節點做為mon監視器使用，所以選擇規劃中部署mon的節點-node1）

[ceph-admin@ceph-node1 cluster]$ ceph-deploy new ceph-node1
[ceph_deploy.conf][DEBUG ] found configuration file at: /home/ceph-admin/.cephdeploy.conf
[ceph_deploy.cli][INFO  ] Invoked (2.0.1): /bin/ceph-deploy new ceph-node1
[ceph_deploy.cli][INFO  ] ceph-deploy options:
[ceph_deploy.cli][INFO  ]  username                      : None
[ceph_deploy.cli][INFO  ]  func                          : <function new at 0x7f14c44c9de8>
[ceph_deploy.cli][INFO  ]  verbose                       : False
[ceph_deploy.cli][INFO  ]  overwrite_conf                : False
[ceph_deploy.cli][INFO  ]  quiet                         : False
[ceph_deploy.cli][INFO  ]  cd_conf                       : <ceph_deploy.conf.cephdeploy.Conf instance at 0x7f14c3c424d0>
[ceph_deploy.cli][INFO  ]  cluster                       : ceph
[ceph_deploy.cli][INFO  ]  ssh_copykey                   : True
[ceph_deploy.cli][INFO  ]  mon                           : ['ceph-node1']
[ceph_deploy.cli][INFO  ]  public_network                : None
[ceph_deploy.cli][INFO  ]  ceph_conf                     : None
[ceph_deploy.cli][INFO  ]  cluster_network               : None
[ceph_deploy.cli][INFO  ]  default_release               : False
[ceph_deploy.cli][INFO  ]  fsid                          : None
[ceph_deploy.new][DEBUG ] Creating new cluster named ceph
[ceph_deploy.new][INFO  ] making sure passwordless SSH succeeds
[ceph-node1][DEBUG ] connection detected need for sudo
[ceph-node1][DEBUG ] connected to host: ceph-node1
[ceph-node1][DEBUG ] detect platform information from remote host
[ceph-node1][DEBUG ] detect machine type
[ceph-node1][DEBUG ] find the location of an executable
[ceph-node1][INFO  ] Running command: sudo /usr/sbin/ip link show
[ceph-node1][INFO  ] Running command: sudo /usr/sbin/ip addr show
[ceph-node1][DEBUG ] IP addresses found: [u'192.168.56.125']
[ceph_deploy.new][DEBUG ] Resolving host ceph-node1
[ceph_deploy.new][DEBUG ] Monitor ceph-node1 at 192.168.56.125
[ceph_deploy.new][DEBUG ] Monitor initial members are ['ceph-node1']
[ceph_deploy.new][DEBUG ] Monitor addrs are ['192.168.56.125']
[ceph_deploy.new][DEBUG ] Creating a random mon key...
[ceph_deploy.new][DEBUG ] Writing monitor keyring to ceph.mon.keyring...
[ceph_deploy.new][DEBUG ] Writing initial config to ceph.conf...

[ceph-admin@ceph-node1 cluster]$ ls
ceph.conf  ceph-deploy-ceph.log  ceph.mon.keyring

在當前目錄下的ceph.conf中添加以下兩行內容

public_network = 192.168.56.0/24
cluster_network = 192.168.56.0/24

安裝Ceph包至其他節點
（其中 --no-adjust-repos 引數含義：使用本地配置的源，不更改源，以防出現問題）

[ceph-admin@ceph-node1 cluster]$ ceph-deploy install --no-adjust-repos ceph-node1 ceph-node2 ceph-node3

初始化mon節點

在2.0.1版本的ceph-deploy中在該初始化的時候就會做收集密鑰的動作，無需再執行 ceph-deploy gatherkeys
{monitor-host} 這個命令

[ceph-admin@ceph-node1 cluster]$ ceph-deploy mon create-initial

5、添加OSD

如果是里邊有資料的磁盤，還需先清除資料：（詳細可查看 ceph-depoy disk zap --help）

列出所有節點上所有可用的磁盤
[ceph-admin@ceph-node1 cluster]$ ceph-deploy disk list ceph-node1 ceph-node2 ceph-node3
清除資料
sudo ceph-deploy disk zap {osd-server-name} {disk-name}
    eg：sudo ceph-deploy disk zap ceph-node2 /dev/sdb

如果是干凈的磁盤，可忽略上邊清除資料的操作，直接添加OSD即可
（我這里是新添加的/dev/sdb磁盤）

[ceph-admin@ceph-node1 cluster]$ ceph-deploy osd create --data /dev/sdb ceph-node1
[ceph-admin@ceph-node1 cluster]$ ceph-deploy osd create --data /dev/sdb ceph-node2
[ceph-admin@ceph-node1 cluster]$ ceph-deploy osd create --data /dev/sdb ceph-node3

可以看到cpeh將新增OSD創建為LVM格式加入ceph集群中

[ceph-admin@ceph-node1 cluster]$ sudo pvs
  PV         VG                                        Fmt  Attr PSize   PFree
  /dev/sdb   ceph-ab1b8533-018e-4924-8520-fdbefbb7d184 lvm2 a--  <10.00g    0

6、允許主機以管理員權限執行 Ceph 命令

將ceph-deploy命令將組態檔和 admin key復制到各個ceph節點，其他節點主機也能管理ceph集群

[ceph-admin@ceph-node1 cluster]$ ceph-deploy admin ceph-node1 ceph-node2 ceph-node3

7、部署MGR用于獲取集群資訊

[ceph-admin@ceph-node1 cluster]$ ceph-deploy mgr create ceph-node1

查看集群狀態

[ceph-admin@ceph-node1 cluster]$ sudo ceph health detail
HEALTH_OK
[ceph-admin@ceph-node1 cluster]$ sudo ceph -s
  cluster:
    id:     e9290965-40d4-4c65-93ed-e534ae389b9c
    health: HEALTH_OK

  services:
    mon: 1 daemons, quorum ceph-node1 (age 62m)
    mgr: ceph-node1(active, since 5m)
    osd: 3 osds: 3 up (since 12m), 3 in (since 12m)

  data:
    pools:   0 pools, 0 pgs
    objects: 0 objects, 0 B
    usage:   3.0 GiB used, 27 GiB / 30 GiB avail
    pgs:

因/etc/ceph/下key檔案普通用戶沒有讀權限，所以普通用戶無權直接執行ceph命令
如果需要ceph-admin普通用戶也可直接呼叫集群，增加對ceph組態檔的讀權限即可
（想要每個節點普通用戶都可以執行ceph相關命令，那就所有節點都修改權限）

[ceph-admin@ceph-node1 ~]$ ll /etc/ceph/
total 12
-rw-------. 1 root root 151 Oct 21 17:33 ceph.client.admin.keyring
-rw-r--r--. 1 root root 268 Oct 21 17:35 ceph.conf
-rw-r--r--. 1 root root  92 Oct 20 04:48 rbdmap
-rw-------. 1 root root   0 Oct 21 17:30 tmpcmU035
[ceph-admin@ceph-node1 ~]$ sudo chmod +r /etc/ceph/ceph.client.admin.keyring
[ceph-admin@ceph-node1 ~]$ ll /etc/ceph/
total 12
-rw-r--r--. 1 root root 151 Oct 21 17:33 ceph.client.admin.keyring
-rw-r--r--. 1 root root 268 Oct 21 17:35 ceph.conf
-rw-r--r--. 1 root root  92 Oct 20 04:48 rbdmap
-rw-------. 1 root root   0 Oct 21 17:30 tmpcmU035
[ceph-admin@ceph-node1 ~]$ ceph -s
  cluster:
    id:     130b5ac0-938a-4fd2-ba6f-3d37e1a4e908
    health: HEALTH_OK

  services:
    mon: 1 daemons, quorum ceph-node1 (age 20h)
    mgr: ceph-node1(active, since 20h)
    osd: 3 osds: 3 up (since 20h), 3 in (since 20h)

  data:
    pools:   0 pools, 0 pgs
    objects: 0 objects, 0 B
    usage:   3.0 GiB used, 27 GiB / 30 GiB avail
    pgs:

三、配置Mgr-Dashboard模塊

開啟dashboard模塊

[ceph-admin@ceph-node1 ~]$ sudo ceph mgr module enable dashboard

如果報錯如下：

Error ENOENT: all mgr daemons do not support module 'dashboard', pass --force to force enablement

那是因為沒有安裝ceph-mgr-dashboard，在mgr節點上安裝即可

[ceph-admin@ceph-node1 ~]$ sudo yum -y install ceph-mgr-dashboard

默認情況下，儀表板的所有HTTP連接均使用SSL/TLS進行保護，
要快速啟動并運行儀表板，可以使用以下命令生成并安裝自簽名證書

[ceph-admin@ceph-node1 ~]$ sudo ceph dashboard create-self-signed-cert
Self-signed certificate created

創建具有管理員角色的用戶:

[ceph-admin@ceph-node1 ~]$ sudo ceph dashboard set-login-credentials admin admin
******************************************************************
***          WARNING: this command is deprecated.              ***
*** Please use the ac-user-* related commands to manage users. ***
******************************************************************
Username and password updated

查看ceph-mgr服務:

[ceph-admin@ceph-node1 ~]$ sudo ceph mgr services
{
    "dashboard": "https://ceph-node1:8443/"
}

瀏覽器訪問測驗:
http://192.168.56.125:8443

轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/187490.html

標籤：其他

上一篇：資料鏈路層下交換機基本原理與配置

下一篇：centos7靜默安裝oracle11g-穩！