nginx是一個輕量級，高性能的HTTP和反向代理web服務器，目前金融科技研發部下的相關應用，基本通過接入區（互聯網接入區，企業資訊化接入區）部署的nginx服務進行反向代理提供服務，

在實際業務運行程序中，需要對nginx服務進行一系列的配置（prometheus監控節點、nginx行程，nginx日志切割，nginx服務自啟動），便于日常的維護，日志查詢，故障定位，服務高可用，本文將會介紹具體每個環節的配置方法與命令，

prometheus組件下載地址：

https://download.csdn.net/download/qq_42235364/21056850

Supervisor服務組件網盤下載地址：

鏈接：https://pan.baidu.com/s/1feAckUPRuBkU77LSQDpalg
提取碼：c2vx

nginx組件網盤下載地址：

鏈接：https://pan.baidu.com/s/1M6GkVDDq9mcDx8rSLHEfCw
提取碼：rshh

目錄

1.安裝 安全資料擺渡客戶端（下載工具）：

2.安裝 nginx及nginx監控探針（未安裝nginx服務）

3.nginx上重編譯nginx-module--vts模塊（已安裝nginx服務）

4.安裝nginx_exporter

5.安裝Supervisor服務（管理并自啟動nginx相關服務）

6.配置管理nginx以及nginx_exporter（自啟動）

7.日志管理（按日切割以及保留30天）

8.配置prometheus服務端（slave）

9.配置prometheus服務端（master）

10.登陸grafana檢查否添加成功

11.配置alert告警分組

---

---

1.安裝 安全資料擺渡客戶端（下載工具）：

1）安裝wget組件：yum -y install wget

2）安裝客戶端：wget https://10.18.90.89/UniExServices/baseCfg/downloadLinuxClient.html --no-check-certificate

3）解壓客戶端：unzip downloadLinuxClient.html

4）進入目錄：cd /root/linux-client/5.11/

5）修改訪問權限：chmod 755 *

###生產環境下各個公司有各自的安全上傳檔案的通道，此條在通用的環境中忽略，

---

2.安裝 nginx及nginx監控探針（未安裝nginx服務）

1）進入安渡客戶端目錄：cd /root/linux-client/5.11/

2）登錄安渡客戶端：./MiniFTClient -h 10.18.90.89

3）進入安渡客戶端，下載nginx安裝包：get nginx-1.16.1.tar.gz

下載nginx監控探針組件：get nginx-module-vts.tar.gz

下載nginx監控探針：get nginx-vts-exporter.tar.gz

#具體下載的包根據需要的版本而定，例如nginx-1.18.1，對應包名nginx-1.18.1.tar.gz

#額外的組件需要單獨下載，比如sticky，命令為get nginx-sticky-module-ng.zip

4）退出安渡客戶端：exit #退出后的目錄為/root/linux-client/5.11/

#以上步驟為下載nginx相關組件至服務器，僅供參考，

5）移動nginx安裝包至標準路徑下：mv nginx-1.16.1.tar.gz /usr/local

移動nginx監控探針組件至組件目錄：mv nginx-module-vts.tar.gz /mnt

移動nginx監控探針至組件目錄：mv nginx-vts-exporter.tar.gz /mnt

#移動sticky安裝包至/mnt目錄下：mv nginx-sticky-module-ng.zip /mnt

6）進入標準路徑：cd /usr/local

7）解壓nginx安裝包：tar -zxvf nginx-1.16.1.tar.gz

#一般安裝默認下載sticky組件，因此需要對sticky也進行解壓，

#解壓步驟：cd /mnt

#unzip /mnt/nginx-sticky-module-ng.zip

#tar -zxvf nginx-module-vts.tar.gz

8）進入解壓后的目錄：cd /usr/local/nginx-1.16.1/

9）安裝編譯工具以及庫檔案：yum -y install make zlib zlib-devel gcc-c++ libtool openssl openssl-devel

10）編譯：./configure --user=root --group=root --prefix=/usr/local/nginx --with-http_stub_status_module --with-http_ssl_module --with-http_sub_module --add-module=/mnt/nginx-sticky-module-ng --add-module=/mnt/nginx-module-vts --with-stream --without-http_rewrite_module --with-pcre

11）安裝：make && make install

12）檢查版本：/usr/local/nginx/sbin/nginx -v

#回傳值為：nginx version: nginx/1.16.1

###通用nginx安裝操作如下：

默認在/usr/local目錄下執行：

1. 下載nginx：wget -c https://nginx.org/download/nginx-1.16.1.tar.gz
2. 解壓nginx：tar -zxvf /usr/local/nginx-1.16.1.tar.gz
3. 進入目錄：cd /usr/local/nginx-1.16.1
4. 下載相關庫：yum -y install make zlib zlib-devel gcc-c++ libtool openssl openssl-devel
5. 編譯：./configure --user=root --group=root --prefix=/usr/local/nginx --with-http_stub_status_module --with-http_ssl_module --with-http_sub_module --with-stream --without-http_rewrite_module --with-pcre
6. 安裝：make && make install
7. 檢查版本：/usr/local/nginx/sbin/nginx -v

---

3.nginx上重編譯nginx-module--vts模塊（已安裝nginx服務）

1）進入安渡客戶端目錄：cd /root/linux-client/5.11/

2）登錄安渡客戶端：./MiniFTClient -h 10.18.90.89

3）下載nginx-module--vts模塊安裝包：get nginx-module-vts.tar.gz

#以上步驟為下載nginx-module-vts組件至服務器，僅供參考，

4）修改nginx-module--vts模塊路徑：mv nginx-module-vts.tar.gz /usr/local

5）解壓nginx-module--vts模塊：tar -zxvf nginx-module-vts.tar.gz

6）查看nginx已經安裝模塊：/usr/local/nginx/sbin/nginx -V

Tengine version: shgine/1.0.0 (nginx/1.15.9)

built by gcc 4.4.7 20120313 (Red Hat 4.4.7-23) (GCC)

built with OpenSSL 1.0.2s 28 May 2019

TLS SNI support enabled

configure arguments: --prefix=/usr/local/nginx --user=admin --group=admin --with-pcre=../pcre-8.43 --with-pcre-jit --with-openssl-opt=enable-tlsex --with-file-aio --with-threads --with-http_realip_module --with-http_addition_mo ule --with-http_mp4_module --with-http_secure_link_module --with-http_gunzip_module --with-http_auth_request_module --with-http_degradation_module --with-http_slice_module --with-stream --with-stream_ssl_module --with-stream_re lip_module --with-stream_sni --with-stream_ssl_preread_module --with-http_v2_module --with-http_gzip_static_module --with-http_realip_module --with-http_stub_status_module --add-module=../ngx_devel_kit --add-module=../lua-nginx module --add-module=../echo-nginx-module --add-module=../redis2-nginx-module --add-module=../set-misc-nginx-module --add-module=./modules/ngx_http_concat_module --add-module=./modules/ngx_http_reqstat_module --add-module=./modu es/ngx_http_upstream_check_module --add-module=./modules/ngx_http_upstream_consistent_hash_module --add-module=./modules/ngx_http_upstream_dynamic_module --add-module=./modules/ngx_http_upstream_dyups_module --add-module=./modu es/ngx_http_upstream_session_sticky_module --add-module=./modules/ngx_cache_purge-2.3 --with-zlib=../zlib-1.2.8 --with-openssl=../openssl-1.0.2s --with-http_sub_module

上面標黃的部分是已編譯安裝的引數，下面說明中用（***）表示，每臺服務器上編譯安裝的模塊都不一定相同，因此要根據具體的情況進行操作，

7）進入安渡客戶端下載相同版本的nginx：get nginx-1.16.1.tar.gz

8）編譯時加入需要的模塊：

./configure （***）--add-module=/usr/local/nginx-module-vts --add-module=/mnt/nginx-module-vts

9）備份原二進制檔案：cp /usr/local/nginx/sbin/nginx /usr/local/nginx/sbin/nginx.bak

10）備份nginx.conf組態檔：cp /usr/local/nginx/conf/nginx.conf /root

11）安裝：make && make install

---

4.安裝nginx_exporter

1）進入安渡客戶端目錄：cd /root/linux-client/5.11/

2）登陸安渡客戶端：./MiniFTClient -h 10.18.90.89

3）下載node_exporter：get nginx-vts-exporter.tar.gz

4）退出安渡客戶端：exit #退出后的目錄為/root/linux-client/5.11/

#以上步驟為下載nginx_exporter組件至服務器，僅供參考

5）修改node_expoter路徑：mv nginx-vts-exporter.tar.gz /mnt

6）進入組件目錄：cd /mnt

7）解壓縮：tar -zxvf nginx-vts-exporter.tar.gz #檔案名為nginx-vts-exporter

8）賦予可執行權限：chmod 755 nginx-vts-exporter

9）修改nginx.conf檔案：vi /usr/local/nginx/conf/nginx.conf

10）配置如下：

http {

vhost_traffic_status_zone;

vhost_traffic_status_filter_by_host on;

server {

listen 80;

location /status {

vhost_traffic_status_display;

vhost_traffic_status_display_format html;

}

}

}

#監聽埠8088可以進行修改，與現有業務不沖突即可，建議使用統一的標準

#也可以部署在任意埠下面，只要不與現有業務沖突即可

# vhost_traffic_status_filter_by_host on; 開啟此功能，在Nginx配置有多個server_name的情況下，會根據不同的server_name進行流量的統計，否則默認會把流量全部計算到第一個server_name上，

11）啟動監聽服務：

nohup /mnt/nginx-vts-exporter/nginx-vts-exporter -nginx.scrape_uri=http://localhost:8088/status/format/json &

---

5.安裝Supervisor服務（管理并自啟動nginx相關服務）

介紹：Supervisor是用Python開發的一套通用的行程管理程式，能將一個普通的命令列行程變為后臺daemon，并監控行程狀態，例外退出時能自動重啟，它是通過fork/exec的方式把這些被管理的行程當作supervisor的子行程來啟動，這樣只要在supervisor的組態檔中，把要管理的行程的可執行檔案的路徑寫進去即可，也實作當子行程掛掉的時候，父行程可以準確獲取子行程掛掉的資訊的，可以選擇是否自己啟動和報警，

生產環境由于是封閉的網路，因此使用離線安裝的方式，

安裝及配置如下：

1）進入安渡客戶端目錄：cd /root/linux-client/5.11/

2）登陸安渡客戶端：./MiniFTClient -h 10.18.90.89

3）下載Supervisor服務安裝包：get supervisor_install_pack.tar.gz

4）退出安渡客戶端：exit #退出后的目錄為/root/linux-client/5.11/

#以上步驟為下載supervisor組件至服務器，僅供參考，

5）創建程式安裝目錄：mkdir -p /app/supervisor/

#創建的目錄可修改，修改后目錄后需要修改安裝腳本中的路徑，

6）移動安裝包至安裝目錄下：mv supervisor_install_pack.tar.gz /app/supervisor/

7）切換至安裝目錄下：cd /app/supervisor/

8）解壓安裝包：tar -zxvf supervisor_install_pack.tar.gz

9）進入安裝程式：cd supervisor/ #此時絕對路徑為/app/supervisor/supervisor

10）執行安裝腳本：sh install_supervisor.sh

11）切換至上層目錄：cd /app/supervisor

12）啟動supervisor服務：sh run_supervisor.sh

13）檢查supervisor服務是否已運行：ps -ef | grep supervisord

14）配置systemctl服務：vi /etc/systemd/system/supervisor.service

15）將下列內容添加至supervisor.service檔案內:

[Unit]

Description=supervisor

After=network.target

[Service]

Type=forking

ExecStart=/usr/bin/supervisord -c /app/supervisor/etc/supervisord.conf

ExecStop=/usr/bin/supervisorctl $OPTIONS shutdown

ExecReload=/usr/bin/supervisorctl $OPTIONS reload

KillMode=process

Restart=on-failure

RestartSec=42s

[Install]

WantedBy=multi-user.target

16）設定開機啟動：

systemctl enable supervisor.service

systemctl daemon-reload

17）關閉supervisor行程：pkill -9 supervisor

18）使用systemctl命令啟動：systemctl start supervisor.service

19）檢查服務：systemctl status supervisor.service

# supervisor常用管理命令：

# supervisorctl restart all ;重啟所有應用

# supervisorctl stop all ;停止所有應用

# supervisorctl start all ;啟動所有應用

# supervisorctl status ;查看所有應用

---

6.配置管理nginx以及nginx_exporter（自啟動）

需要給托管的子行程配置相應的組態檔，每個行程的組態檔都可以單獨分拆也可以把相關的腳本放一起，目錄及檔案后綴可以在supervisor.conf組態檔中進行自定義，

1）創建日志檔案目錄：mkdir -p /data/logs/supervisord/

2）編輯組態檔：vi /app/supervisor/etc/supervisord.conf

3）添加管理nginx行程：

[program:nginx]

directory=/usr/local/nginx/sbin

command=/usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf -g 'daemon off;'

#numprocs=6

autostart=true

autorestart=true

startsecs=1

priority=1

user=root

stopasgroup=true

killasgroup=true

stdout_logfile=/data/logs/supervisord/nginx.log

stderr_logfile=/data/logs/supervisord/nginx.err.log

4）添加管理nginx_exporter行程：

[program:nginx_exporter]

directory=/mnt/nginx-vts-exporter

command=/mnt/nginx-vts-exporter/nginx-vts-exporter -nginx.scrape_uri=http://localhost:80/status/format/json

autostart=true

autorestart=true

startsecs=5

priority=1

user=root

stopasgroup=true

killasgroup=true

stdout_logfile=/data/logs/supervisord/nginx_exporter.log

stderr_logfile=/data/logs/supervisord/nginx_exporter.err.log

---

7.日志管理（按日切割以及保留30天）

1）編輯日志管理腳本：vi /abc/cut_nginx_log.sh

2）腳本內容如下：

#!/bin/bash

#原nginx日志存放路徑

log_files_path="/data/nglog/"

#備份nginx日志存放路徑

log_files_backup="/data/backup/"

#nginx切割后存放路徑

log_files_dir=${log_files_backup}$(date -d "yesterday" +"%Y")/$(date -d "yesterday" +"%m")/$(date -d "yesterday" +"%d")

#羅列出需要切割的日志名

log_file_list=$(ls -l /data/nglog/ | awk '{print$9}' |awk -F'.' '{print $1}')

#待切割日志名稱集合如access.log error.log

log_files_name=(${log_file_list})

#nginx啟動腳本路徑

nginx_sbin="/usr/local/nginx/sbin/nginx"

#日志保存時間

save_days=30

#創建存放目錄

mkdir -p $log_files_dir

log_files_num=${#log_files_name[@]}

#回圈切割日志

for((i=0;i<$log_files_num;i++));do

mv ${log_files_path}${log_files_name[i]}.log ${log_files_dir}/${log_files_name[i]}_$(date -d "yesterday" +"%Y%m%d").log

done

#洗掉超過30天的日志檔案

find $log_files_backup -mtime +$save_days -exec rm -rf {} \;

#重啟nginx服務，重新生成新的檔案

$nginx_sbin -s reload

3）編輯crontab定時服務：crontab –e

4）配置每天凌晨進行日志處理：0 0 * * * sh /abc/cut_nginx_log.sh

---

8.配置prometheus服務端（slave）

1）登陸prometheus服務端（slave）：x.x.x.x（企業資訊化）

2）檢查服務端與被監控端的網路（埠9913）：比如telnet x.x.x.x 9913

3）配置監控組節點資訊：vi /usr/local/prometheus/sd_config/nginx.yml

4）在（-targets：）下添加監控節點資訊：

可以讓游標停留在targets的最后一行，安yyp即可直接復制到下一行再進行修改

5）添加監控組節點資訊檔案至prometheus服務檔案（如果已經添加，無需操作）：

vi /usr/local/prometheus/prometheus.yml

在最后一行添加如下資訊：

- job_name: 'nginx_tybg'

file_sd_configs:

- files: ['/usr/local/prometheus/sd_config/nginx.yml']

refresh_interval: 5m

6）配置完成后重啟prometheus服務：

kill -hup `ps -ef |grep prometheus|grep -v grep|awk '{print $2}'`

7）檢查prometheus服務是否重啟成功：ps -ef |grep prometheus

---

9.配置prometheus服務端（master）

1）登陸prometheus服務端（master）：x.x.x.x

2）配置prometheus服務檔案：

找到slave節點對應的區域，并在串列中添加監控組（如果監控組已經添加，無需操作）

vi /usr/local/prometheus/prometheus.yml

3）完成后重啟prometheus服務：

kill -hup `ps -ef |grep prometheus|grep -v grep|awk '{print $2}'`

4）檢查prometheus服務是否重啟成功：ps -ef |grep prometheus

---

10.登陸grafana檢查否添加成功

1）登入服務器x.x.x.x，訪問Grafana服務：http://x.x.x.x:3000

2）選擇所有節點（all node），按照監控組（job）搜索，看是否添加成功：

---

11.配置alert告警分組

1）登入alertmanager服務器x.x.x.x，進入目錄/usr/local/alertmanager

2）編輯告警的磁區資訊：vi /usr/local/alertmanager/robotKey.json

3）檔案的內容如下：

檔案中的格式為：“告警機器人名”：“企業機器人組key”

告警機器人名取自各個slave服務器下的檔案，以slave節點x.x.x.x為例子：

比如cw分組：/usr/local/prometheus/sd_config/node_cw/node_cw.yml

alert:cw #這個地方配置報警機器人的名字

配置好之后重啟服務：kill -hup `ps -ef |grep prometheus|grep -v grep|awk '{print $2}'`

之后再回到alertmanager服務器x.x.x.x，添加配置到檔案/usr/local/alertmanager/robotKey.json

{

"oa": "cbe2866f-0d35-4064-b761-92321b665cf4",

"sftp": "15bc15f7-be2e-4262-8a31-04cf1d83c557",

"ziyan": "3c2f92ad-57c3-45fc-9c36-31ac5e6a0902",

"zyspecial": "f085fee9-b61e-496d-950c-77008590f960",

"cw": "8af4df90-7b1c-4cd9-838b-196e77790ddc",

"mail": "91bbf9bf-ce6f-4c32-a998-c4242a76061d",

"qywx": "d8ab1d94-cd23-4994-bcd6-c1154cb1c5bc",

"oayq": "dca8487d-ce03-45e3-8fc5-9ab71cc1020f",

"zz": "57fc5b51-b64e-4b8b-bbea-cd45fd9ca945",

"yyzx": "83c108d6-696c-44f3-a9f6-d23acf837b39"

}

1. 配置好檔案后，查詢并關閉alert相關的行程：ps -ef | grep alert

Kill -9 行程號 #關閉下圖中框起來的行程，行程號會有所不同根據實際的情況進行關閉，

1. 關閉行程后，重新讀取robotkey的資訊至alertmanager：

nohup python3 /usr/local/alertmanager/send_robot_data.py > /usr/local/alertmanager/logs/send_robot_data.out 2>&1 &

1. 資訊讀取完畢后，重新開啟報警監控程式alertmanager：

nohup /usr/local/alertmanager/alertmanager --log.level=debug > /usr/local/alertmanager/logs/alertmanager.out 2>&1 &

1. 配置完成后，檢驗告警機器人是否生效，關閉job組中一臺服務器上的node_exporter行程，并等待企業微信告警機器人對告警資訊進行反饋，一般在10~30分鐘會有報警提示：

關閉nginx_exporter命令為：systemctl stop node_exporter

確認nginx_exporter狀態：systemctl status node_exporter

告警機器人截圖：

確認好后，恢復相關的節點監控行程：systemctl start node_exporter