前言
本篇文章會從一些nginx上實用的插件進行介紹，以及應對后端服務出現故障處理、高并發限流、黑白名單插件、Nginx第三方插件的應用，這里包括爬蟲限流、以及惡意請求，這些常見的場景下的處理，
代理服務故障處理
當請求過來，有一臺服務器可能掛掉，然后nginx可能掛掉，以及 請求有一千五百萬，但是所有服務器處理性能不夠，以及出現故障時，主動健康檢查支持不夠，nginx；
被動健康檢查
ngx_http_upstream_module，可以做到基本的健康檢查，
upstream指令塊中的server子指令引數：max_fails、fail_timeout
upstream backend {
server 127.0.0.1:8080 weight=1 max_fails=2 fail_timeout=10s;
server 127.0.0.1:8081 weight=1 max_fails=2 fail_timeout=10s;
}
max_fails=2的意思是設定Nginx與服務器通信的嘗試失敗的次數，在fail_timeout引數定義的時間段內，如果失敗的次數達到此值，Nginx就認為服務器不可用，在下一個fail_timeout時間段，服務器不會再被嘗試，失敗的嘗試次數默認是1，
設為0就會停止統計嘗試次數，認為服務器是一直可用的，
fail_timeout=10s是設定服務器被認為不可用的時間段以及統計失敗嘗試次數的時間段，在這段時間中，服務器失敗次數達到指定的嘗試次數，服務器就被認為不可用，默認情況下，該超時時間是10秒，
主動健康檢查
服務主動健康檢查的Nginx插件，nginx_upstream_check_module
nginx 需要添加nginx_upstream_check_module 模塊，用于對后端服務器的健康情況檢測，如果后端服務器不可用，則把這臺服務器移除負載均衡輪循集群，所有的請求不往這臺服務器上轉發，待這臺服務器恢復正常后，再把這臺加入到負載均衡集群，
upstream cluster {
# simple round-robin
server 127.0.0.1:8080;
server 127.0.0.1:8081;
check interval=5000 rise=1 fall=3 timeout=4000;
#check_http_send "HEAD / HTTP/1.0\r\n\r\n";
#check_http_expect_alive http_2xx http_3xx;
}Nginx實用插件 提取碼：ejs7
上面有安裝插件的方法，
故障轉移
dubbo中會調幾次，服務轉移 熔斷器等， 遇到故障定義下一個服務器上，
ngx_http_proxy_module模塊對故障轉移的支持
一旦有這個超時配置過后，就會移到下一個服務器上，
proxy_next_upstream
在尚未向客戶端發送任何內容的情況下才能將請求傳遞給下一個服務器，也就是說，如果在傳輸響
應的程序中發生錯誤或超時，則無法進行故障轉移，一個請求傳遞給下一個服務時，還可以通過限
制重試次數、等待時間，
proxy_next_upstream_timeout
限制請求可以傳遞到下一個服務器的時間，默認為0，表示關閉限制，
proxy_next_upstream_tries
限制將請求傳遞到下一個服務器的可能嘗試次數 ，默認為0，表示關閉限制，
應對服務雪崩
Nginx后面有2臺上游服務，每臺服務負載5000并發，假如第一臺掛掉，Nginx將第一臺的請求轉發給第二臺，將第二臺打掛，整
個服務都不可用了，如果是多臺服務，就這樣多米諾骨牌效應產生，將全部服務打掛？怎么處理？
proxy_read_timeout
定義從代理服務器讀取回應的超時，僅在兩個連續的讀操作之間設定超時，而不是為整個回應的傳輸，如果代理服務器在此時間內未傳輸任何內容，則關閉連接，默認60s，
max_conns引數
設定upstream中server指令的max_conns引數來進行控制每臺服務器能夠處理的最大的連接數
也就是失敗連接不要馬上去建立連接，導致服務雪崩
動態更新上游服務
后端服務發生變化，需要調整nginx的upstream串列，而且需要重啟nginx，有一種插件可以無需重動nginx，動態更新后端服務地址串列，這個插件就是，ngx_http_dyups_module模塊，
這個插件動態的更新后端串列
Nginx實用插件 提取碼：ejs7
這個插件有個問題比較明顯，因為資料存放在記憶體中，nginx 重啟之后，配置內容就會清空，
Nginx可以通過Consul+Consul-template來解決（需要Nginx reload）
OpenResty可以通過balancer_by_lua+Consul來解決（無需Nginx reload）
高并發限流
本來網路請求有很大的不確定因素，有可能突然請求達到了幾百萬的同時請求，
像這些，我們不能拿到應用程式中去限制，tomcat壓力就非常大了，
限制請求
模塊ngx_http_limit_req_module (nginx.org)
Nginx中可以通過請求限制模塊的指令來控制客戶端的請求速率，使用“漏桶”演算法，限制指定Key的請求處理速率，特別是從一個單一的IP地址的請求的處理速率，
http {
limit_req_zone $binary_remote_addr zone=one:10m rate=1r/s;
limit_req_zone $server_name zone=preserver:10m rate=10r/s;
server {
location /search/ {
limit_req zone=one burst=5;
limit_req zone=perserver burst=10;
}
}
}
示例，通過定義記憶體空間塊：
限制單個IP平均每秒允許不超過1個請求，突發不超過5個請求
整個虛擬服務，平均每秒不允許超過10個，突發不超過10個請求
這個在反爬蟲時， 限流，也比較有用的， 一旦限流過后會到其他頁面上去，
burst 表示突發請求，
zone 每秒請求，
限制連接
Nginx中通過ngx_http_limit_conn_module模塊，來限制連接到nginx服務的數量，用于限制每個定義密鑰的連接數，特別是來自單個IP地址的連接數，并非所有連接都被計算在內 只有當服務器正在處理請求并且已經讀取了整個請求標頭時，才會計算連接，
Module ngx_http_limit_conn_module (nginx.org)
http {
limit_conn_zone $binary_remote_addr zone=addr:10m;
limit_conn_zone $server_name zone = perserver：10m;
server {
location /download/ {
limit_conn addr 1;
limit_conn perserver 100;
}
}
}
示例，通過定義記憶體空間塊： 限制單個IP建立不超過1個連接 整個虛擬服務，不允許超過10個連接
限制給客戶端的回應速率
http核心模塊中對回應速率限制提供了支持，視頻網站，不可能將所有帶寬都給一個請求，我們需要限制每個請求的速率
http {
server {
location /download/ {
limit_rate_after 500k;
limit_rate 50k;
} } }
示例，限制回應初始速率50k，后續回應速率限制在500k
針對爬蟲限速
網路爬蟲對網站的作用
一方面可以給網站帶來一定的流量，便于搜索引擎收錄，利于用戶搜素，
另一方面會給服務器帶來一定的壓力，在網路爬蟲對網站內容進行收錄時，會引起服務器負載高漲，
有沒有什么方法既不阻止網路爬蟲對網站內容進行收錄，同時對其連接數和請求數進行一定的限制呢？
robots.txt 協議
robots.txt檔案內容稱為爬蟲協議，搜索引擎會根據這個檔案的內容，來確定它訪問權限的范圍，它不是命令要求，需要
搜索引擎自覺遵守，
robots.txt 必須放置在一個站點的根目錄下，而且檔案名必須全部小寫,一詞不差，
robots.txt 寫法：
User-agent: * 這里的*代表的所有的搜索引擎種類，*是一個通配符
Allow: /cgi-bin/ 這里定義是允許爬尋cgi-bin目錄下面的目錄
Disallow: /admin/ 這里定義是禁止爬尋 admin 目錄下面的內容
Disallow: /require/ 這里定義是禁止爬尋 require 目錄下面的內容這些都是限制爬蟲，限制其訪問敏感資料，
Disallow: /data/www/images
針對爬蟲限速-Nginx配置
Map是nginx模塊中用來映射變數的 根據每次請求
$http_user_agent
的內容進行子指令進行匹配，如果匹配成功，則將子指令右側的 值賦值給$agent變數，匹配不到則給默認值，示例中表示，根據客戶端的作業系統瀏覽器工具等資訊，匹配是否為curl、apachebench、spider、bot、slurp也就是爬蟲程式相關的名稱，這里采 用了原有內容作為$agent的值，
Limit_conn_zone、limit_req_zone則采用$agent
做為key來存盤限制速率，
所以我們在爬蟲時，需要創建一個ip執行緒池，才能批量設定，并且對于單ip 一定要 對curl、apachebench、spider、bot、slurp 這些關鍵字做匹配
限制客戶端上傳速率
ngx_limit_upload_module是一個tengine模塊，可以限制客戶端發送請求主體時的上傳速率，與標準的nginx limit_rate功能用法相同
速率限制請求主體從客戶端的傳輸，速率以每秒位元組數指定，
值0禁用速率限制，根據請求設定限制，因此如果客戶端同時
打開兩個連接，則總速率將是指定限制的兩倍
Syntax: limit_upload_rate rate;
Default: limit_upload_rate 0;
Context: http, server, location, if in location
設定初始金額，在此之后，來自客戶端的請求正文的進一步
傳輸將受到速率限制，
Syntax: limit_upload_rate_after size;
Default: limit_upload_rate_after 0;
Context: http, server, location, if in location
Nginx實用插件 提取碼：ejs7
可以進行檢測
黑白名單插件
用來限制訪問模塊請求的，
Nginx的訪問模塊
ngx_http_access_module模塊，提供允許、拒絕指令來控制客戶端能否訪問服務，
location / {
deny 192.168.1.1;
allow 192.168.1.0/24;
allow 10.1.1.0/16;
allow 2001:0db8::/32;
deny all;
}
allow，允許某個ip或者一個 ip 段訪問
deny，禁止某個ip或者一個 ip 段訪問
針對ipi地址進行限制
黑白名單插件
? Nginx實用插件 提取碼：ejs7 ?
該插件很久沒有維護了，而且不能正常使用，可以忽略該插件，
ngx_white_black_list 通過組態檔來指定黑白名單內容，
功能描述： 處在黑名單中的 ip 與網路，將無法訪問 web 服務， 處在白名單中的 ip，訪問 web 服務時，將不受 nginx 所有安全模塊的限制， 支持動態黑名單（需要與 ngx_http_limit_req 配合），需要修改nginx代碼這里就不提及了，如有需要，參考給到的ngx_white_black_list鏈接
nginx組態檔內容
# 簡單指令以;結尾
worker_processes 4;
worker_rlimit_nofile 65535;
# 大括號屬于塊指令
events {
worker_connections 1024;
}
http {
# 定義 黑名單或白名單檔案 空間key
# 只能在http指令塊中
# white_black_list_conf可以配置多個 只需 zone=value 其中的value不同就可
white_black_list_conf conf/white.list zone=white:2m;
white_black_list_conf conf/black.list zone=black:4m;
# 啟用黑白名單，on/off，啟用/關閉，
# 在http、server、location下使用, 功能默認是關閉
# 配置在對應的指令塊中，對應的指令塊背景關系生效
white_list white on; #白名單 white 在整個http{}中都開啟
black_list black on; #黑名單 black 在整個http{}中都開啟
server {
listen 80;
root /data/www/;
# 黑白名單配置調整介面，通過它可以調整配置內容
location /sec_config {
sec_config on;
}
}
}
主要還是根據官方檔案，進行查找插件，
第三方插件
這在官方網站上有大量的操作插件，
轉載請註明出處，本文鏈接：https://www.uj5u.com/ruanti/347286.html
標籤：其他
上一篇：設計模式 ——狀態模式