CentOS7+Nginx+Daphne+uWSGI+Django3.2+supervisor+mysql8的服務器生產環境部署 （一）

1. 部署Nginx+uWSGI+Django+mysql

本次服務器部署在騰訊云服務器上CVM上，實體型號如下：

這里也先說明一下各工具之間的關系以及完成的功能：

Nginx完成代理轉發的功能，可以將不同的請求鏈接轉發到不同的服務器上去處理，再將處理得結果回傳到各自請求端，可以提高服務器的負載均衡能力，uwsgi的存在在我的理解中是可以更好地支持并發訪問和處理，提供多行程多執行緒服務，充分調動多核cpu的計算性能，因為django原生是單執行緒的，django的server默認是多執行緒的，至于mysql，專案中用到該資料庫而已，也可以使用別的資料庫，在setting.py中配置好就行，

1.1 安裝Python3.7，更新yum并創建軟鏈

本云服務器安裝鏡像的時候自帶python2.7.5，但專案使用的是python3.7，所以這里直接升級系統的python版本并用py37創建虛擬環境，升級python：

$ cd /usr/local
$ wget http://npm.taobao.org/mirrors/python/3.7.10/Python-3.7.10.tgz
$ tar -xzf Python-3.7.10.tgz
$ mkdir python3
$ cd Python-3.7.10
$ ./configure --prefix=/usr/local/python3
#升級yum
$ yum update -y
#防止出現丟失的依賴導致的錯誤，把下面這些包也一起安裝了，
$ yum install zlib-devel bzip2 bzip2-devel readline-devel sqlite sqlite-devel openssl-devel xz xz-devel libffi-devel tk-devel
$ make
$ make install

在/usr/bin路徑下創建python37軟鏈（-s），指向已安裝的python37~

$ ln -s /usr/local/python3/bin/python3 /usr/bin/python37

在/usr/bin路徑下創建pip3軟鏈（-s），指向已安裝的pip37~

$ ln -s /usr/local/python3/bin/pip3 /usr/bin/pip37

可以使用python3 -V; python37 -V 查看版本，分別是3.6.8和3.7.10（python3和原始的軟鏈設定有關，沒
有python3也沒關系，我們用的是python37）

1.2 創建虛擬環境

# 配置并載入 Python3 虛擬環境~
$ cd /opt
# 使用python37作為啟動避免沖突, py37 為虛擬環境名稱, 可自定義~
$ python37 -m venv py37
# 退出虛擬環境可以使用   deactivate   命令
$ source /opt/py37/bin/activate
(py37) $ cd py37
(py37) $ ls
bin  include  lib  lib64  pyvenv.cfg
# 載入環境后默認以下所有命令均在該虛擬環境(py37) 中運行，且虛擬環境內的python和pip已經對應系統的python37和pip37，可以用-V確認版本，~~
(py37) $ pip install --upgrade pip setuptools

1.3 安裝uwsgi

# uwsgi需要使用gcc環境編譯否則無法安裝成功
$ yum install gcc -y

# 激活django環境
(py37) $ pip install uwsgi

若出現以下錯誤


（參考https://blog.csdn.net/m0_37886429/article/details/86700665）
原因是缺少_ctypes模塊，其實是沒有安裝libffi-devel 和 tk-devel，是上面升級python的時候沒有升級好，在執行完這條陳述句之后

$ yum install zlib-devel bzip2 bzip2-devel readline-devel sqlite sqlite-devel openssl-devel xz xz-devel libffi-devel

沒有對python重新進行make install，遂在這里再次安裝python，
報錯之后首先退出虛擬環境然后重新安裝所需要的包再安裝python

$ yum install libffi-devel tk-devel
$ cd /usr/local/Python-3.7.10
$ make install
#再次激活虛擬環境
$ source /opt/py37/bin/activate
$ pip install uwsgi

安裝成功

如果依舊報錯，那么嘗試安裝python3-devel,然后再make install 和uwsgi

$ yum install python3-devel
#或者(centos8之后開始dnf)
$ dnf install python3-devel

1.4 安裝mysql并新建資料庫"xxxxx"(專案所使用的資料庫名字）

$ cd /usr/local
$ wget https://dev.mysql.com/get/Downloads/MySQL-8.0/mysql-8.0.13-1.el7.x86_64.rpm-bundle.tar
$ tar -xvf mysql-8.0.13-1.el7.x86_64.rpm-bundle.tar
$ ls

按照這個順序安裝rpm -ivh common–>lib–>client–>server

$ rpm -ivh mysql-community-common-8.0.13-1.el7.x86_64.rpm
$ rpm -ivh mysql-community-libs-8.0.13-1.el7.x86_64.rpm

報錯：

解決：刪掉mariadb-libs（centos7之后默認有mariadb，是mysql的分支）

$ yum remove mysql-libs
$ rpm -ivh mysql-community-libs-8.0.13-1.el7.x86_64.rpm
$ rpm -ivh mysql-community-libs-compat-8.0.13-1.el7.x86_64.rpm
$ rpm -ivh mysql-community-client-8.0.13-1.el7.x86_64.rpm
$ rpm -ivh mysql-community-server-8.0.13-1.el7.x86_64.rpm

報錯：

解決：安裝numactl

$ yum install numactl
$ rpm -ivh mysql-community-server-8.0.13-1.el7.x86_64.rpm

Mysql安裝成功

通過運行以下命令來啟動MySQL服務并使它在啟動時自動啟動：

$ systemctl enable --now mysqld

檢查MySQL服務器是否正在運行，請輸入：

$ systemctl status mysqld

安裝完之后自動生成密碼，執行下面命令獲取臨時密碼

$ grep 'temporary password' /var/log/mysqld.log
#復制臨時密碼
$ mysql -u root -p
Enter password: //粘貼

修改自己的密碼為xxxxxxxxxx

mysql> ALTER user 'root'@'localhost' IDENTIFIED BY 'xxxxxxxxxx';
#新建資料庫 videos，專案里的資料庫名字就是videos，可改名字記得改settings.py中的配置
mysql> CREATE DATABASE videos;   

1.5 安裝Nginx

$ vim /etc/yum.repos.d/nginx.repo


[nginx]
name=nginx repo
baseurl=http://nginx.org/packages/centos/7/$basearch/
gpgcheck=0
enabled=1

$ yum -y install nginx
$ systemctl enable nginx  #使它在服務器啟動時自動啟動

1.6 安裝專案所需的依賴

按需安裝，這里是我按照自己需求安裝的依賴

$ pip install django==3.2
$ pip install channels==3.0.3
$ pip install pymysql==1.0.2  #使用mysql則必須安裝這個
$ pip install numpy==1.20.2
$ pip install opencv-python==4.5.2.52
$ yum install mesa-libGL.x86_64 //opencv-python 依賴

1.7 上傳專案至服務器并做相關配置

本地使用7zip壓縮專案
首先壓縮為tar，在tar的基礎上再壓縮為gzip，然后上傳到服務器

$ cd /opt
$ tar zxvf app_backen 001.tar.gz

注意確認三個檔案的配置：

• 確認settings.py檔案已經做了以下修改：

# Static files (CSS, JavaScript, Images)
# https://docs.djangoproject.com/en/3.2/howto/static-files/
STATIC_URL = '/static/'

# 指定靜態資源所在的目錄
STATICFILES_DIRS = [
    os.path.join(BASE_DIR, 'static')
]

# 設定收集靜態資源的路徑(部署時使用)
STATIC_ROOT = os.path.join(BASE_DIR, 'collect_static/')

上面的設定告訴uwsgi去搜集哪些靜態資源，將靜態資源搜集到哪里，

• settings.py里面對mysql配置的修改
  配置好mysql之后（主要是修改密碼等），需要執行命令遷移資料庫到服務器，自動生成資料表等內容，

$ python manage.py migrate

資料庫移植完之后別忘了創建一個管理員賬號

• 另一個需要修改的地方是uwsgi.ini在1.8 配置Uwsgi并啟動Django中修改，

1.8 配置Uwsgi并啟動Django

參考uwsgi檔案

1.8.1 新建用戶組和用戶

為了方便后期與外部的溝通合作以及方便Nginx服務器的部署（防止服務器漏洞被提權所以指定權限受限的用戶啟動服務器），這里首先創建幾個用戶組，分別是npu,www，兩個用戶組，首先用到了www用戶組新建用戶并安裝nginx服務器，
新建用戶組：

[root@VM-0-8-centos /]# groupadd -g 103 www
[root@VM-0-8-centos /]# groupadd -g 101 npu

新建用戶：

• www用來啟動uwsgi
• john自用，是由管理員權限的用戶（盡量不用root），之后登錄都使用john登錄，可以使用su-命令（sudo）切換到root和su john切換回john，

$ useradd -s /bin/bash -g www www
$ useradd -s /bin/bash -g npu -G root john     //加入npu組和root組，查看group的時候可以看到兩個組里面都有john這個用戶
$ passwd www
New password: xxxxxxxxxx
$ passwd john
New password: xxxxxxxxxx

#查看用戶情況
$ cat /etc/passwd
$ cat /etc/group
$ cat /etc/shadows

1.8.2 兩種方式

Uwsgi啟動專案有兩種方式，一種是命令列啟動，一種是使用Django專案檔案中的uwsgi.ini組態檔啟動，由于命令列啟動需要輸入很多配置資訊，這里直接使用uwsgi.ini啟動，
在manage.py 同目錄下（專案根目錄），新建uwsgi.ini組態檔，這里上傳的Django專案中已經有這個檔案，打開該組態檔可以看到配置資訊，最好每次啟動前對配置資訊確認一下，

$ cd /opt/app_backen001/app_backen 
$ ls
'~'           bpmonitor    logs        media         shape_predictor_68_face_landmarks.dat   templates   uwsgi.ini
 app_backen   helloworld   manage.py   __pycache__   static                                  test.mat
$ vim uwsgi.ini


 # uwsig使用組態檔啟動
[uwsgi]
# 專案所在的根目錄
chdir=/opt/app_backen001

# 主應用的application,
module=app_backen.wsgi:application

#the local unix socket file than commnuincate to Nginx
# 指定sock的檔案路徑，這個sock檔案會在nginx的uwsgi_pass配置，用來nginx與uwsgi通信       
# 支持ip+port模式以及socket file模式
#socket=%(chdir)/uwsgi.sock           
socket=127.0.0.1:9001

# 指定IP埠，web訪問入口，也是監聽埠，若使用uwsgi啟動django，這一項可以不配置
# http=0.0.0.0:8000

# 指定多個靜態檔案：static目錄和media目錄,也可以不用指定該靜態檔案，在nginx中配置靜態檔案目錄
# uwsgi有自己的配置語法，詳細可參考官網，無需寫絕對路徑，可以用回圈、判斷等高級配置語法
for =static
static-map=/static=%(chdir)/%(_)   #設定靜態搜集映射，放到static檔案夾中，
endfor =

# 啟動uwsgi的用戶名和用戶組(從用戶組而不是root啟動防止漏洞導致服務器被入侵)
uid=www
gid=www

# 啟用主行程
master=true

# 行程個數       
processes = 16
# 最少行程數(啟動時行程數為該值）
cheaper = 2
# 每個行程的子行程數 ，worker行程數一般是cpu核心數
workers=4
# 執行緒數
threads =4
procname-prefix-spaced=app_backen                # uwsgi的行程名稱前綴

# 自動移除unix Socket和pid檔案當服務停止的時候
vacuum=true

# 序列化接受的內容，如果可能的話
thunder-lock=true

# 啟用執行緒
enable-threads=true

# 設定一個超時，用于中斷那些超過服務器請求上限的額外請求
harakiri=60

# 設定緩沖
post-buffering=4096

# 設定日志目錄
daemonize=%(chdir)/uwsgi.log

# uWSGI行程號存放,用來控制uwsgi服務
pidfile=%(chdir)/uwsgi.pid

#monitor uwsgi status  通過該埠可以監控 uwsgi 的負載情況
# 支持ip+port模式以及socket file模式
# stats=%(chdir)/uwsgi.status          #啟動后在命令列可以直接curl 127.0.0.1:8001訪問，
stats = 127.0.0.1:8001

#設定每個作業行程處理請求的上限，達到上限時，將回收（重啟）該行程，可以預防記憶體泄漏
max-requests=5000

接下來可以通過uwsgi啟動專案，根據ini檔案，會自動提取static檔案并且進行其他的初始化設定等，

$ uwsgi --ini uwsgi.ini


# 啟動后列印的資訊，可以看到static靜態檔案和media媒體資源目錄被uWSGI索引
[uWSGI] getting INI configuration from uwsgi.ini
[uwsgi-static] added mapping for /static => /opt/app_backen210628/app_backen/static
[uwsgi-static] added mapping for /static => /opt/app_backen210628/app_backen/media


# 運行后，自動引數日志、行程,建議自行查看日志檔案內容，了解更多uwsgi
$ ls
'~'           bpmonitor    logs        media         shape_predictor_68_face_landmarks.dat   templates   uwsgi.ini   uwsgi.pid
 app_backen   helloworld   manage.py   __pycache__   static                                  test.mat    uwsgi.log

此時可以看到已經有uwsgi.pid并且可以看到log，已經可以成功啟動專案

若啟動失敗，顯示埠已被占用，如下：

直接殺死占用埠的uwsgi再重新啟動即可

$ fuser -k 8000/tcp

#停止uwsgi服務的命令
$ uwsgi --stop uwsgi.pid

另外，log中顯示uwsgi還出現了一個警告

由于傳輸的資料中有圖片和視頻，解決掉這個警告比較好，

$ yum install mailcap

解決

1.9 配置Nginx并啟動Uwsgi

在conf.d中添加自定義的組態檔 app_backen.conf

$ cd /etc/nginx/conf.d
$ touch app_backen.conf
$ vim app_backen.conf


upstream app_backen{
   # nginx通過socket在環回介面地址的9001埠與本地的uWSGI行程通信
   # 支持ip:port模式以及socket file模式
   #server unix:/opt/mywebapp/uwsgi_conf/uwsgi.sock;
   server 127.0.0.1:9001;
}
server {

    listen 9090;   #監聽埠
    server_name xxxxxxxxxx; #定義網站域名
    
    access_log /var/log/nginx/access.log;
    charset utf-8;
  
    gzip_types text/plain application/x-javascript text/css text/javascript application/x-httpd-php application/json text/json image/jpeg image/gif image/png application/octet-stream;
    error_page 404 /404.html;
    error_page 500 502 503 504 /50x.html;

    location / {
        # nginx轉發動態請求到uWSGI
        include uwsgi_params;
        uwsgi_connect_timeout 20;　
        uwsgi_pass bpmonitor_app;
    }
    
    # 如果寫成/static/,nginx無法找到專案靜態檔案路徑
    location /static {
        alias /opt/app_backen001/static;
    }
}

$ service nginx restart #重啟nginx
$ systemctl status nginx.service #查看日志

若報錯

解決方法：
除了用1.8中提到的fuser -k
還可以查看埠或者查看行程
停掉80埠服務，或者殺死行程
在啟動nginx服務

$ netstat -anpt
$ kill -9 xxxxx #xxxxx前面不加-

#重新啟動
$ service nginx restart 
$ systemctl status nginx.service

修改前端IP請求地址，測驗是否鏈接成功，測驗期間可能出現各種錯誤，根據日志中顯示的不同錯誤查看nginx和uwsgi的配置有無錯誤，

#查看nginx運行情況
$ systemctl status nginx.service
#查看nginx日志
$ cd /var/log/nginx
#查看nginx的配置
$ cd /etc/nginx
#查看nginx檔案
$ vim /usr/sbin/nginx

這里可能出現一個錯誤：
*157 client intended to send too large body: 3303835 bytes, client: 61.150.4
解決辦法就是在nginx的我們自定義的組態檔/etc/nginx/nginx.conf中找到http下方的內容，加上
client_max_body_size 200m;
這里設定200MB，考慮到我傳輸的資料比較大，

注:如果執行 cat /etc/nginx/nginx.conf , 可以看到nginx的主組態檔，其中默認包含一句:include /etc/nginx/conf.d/*.conf

即從我們剛剛組態檔的目錄conf.d匯入所有的conf組態檔，因此還有另一種配置nginx的方式，那就是在我們的專案檔案中新建conf組態檔并將conf的路徑include到這個主組態檔中，

至此完成使用Nginx和uwsgi啟動Django專案，也配置完了mysql資料庫，django專案中基于http連接請求的部分可以正常運行，第二篇文章會完成基于websocket連接部分的部署，鏈接在此：基于CentOS7+Nginx+Daphne+uWSGI+Django3.2+supervisor+mysql8的服務器生產環境部署（二）