主頁 > 軟體設計 > LVS負載均衡群集的概念、分類、作業模式以及NAT模式的部署

LVS負載均衡群集的概念、分類、作業模式以及NAT模式的部署

2021-03-03 19:08:20 軟體設計

LVS負載均衡群集的概念、分類、作業模式以及NAT模式的部署

  • 一、群集的概念
    • 1、群集的含義
    • 2、為什么會有群集
      • 出現的問題
      • 解決方法
      • 結果
  • 二、群集的分類
    • 1、負載均衡群集
    • 2、高可用群集
    • 3、高性能群集
  • 三、負載均衡群集架構和作業模式
    • 1、負載均衡的結構
      • 第一層,負載調度器(Load Balancer或Director)
      • 第二層,服務器池(Server Pool)
      • 第三層,共享存盤(Share Storage)
    • 2、負載均衡群集作業模式分析
      • 1)NAT模式------地址轉換
      • 2)TUN模式------IP隧道
      • 3)DR模式------直接路由
  • 四、LVS虛擬服務器
    • 1、Linux Virtual Server
    • 2、LVS的管理工具:ipvsadm
      • ipvsadm功能與選項說明
    • 3、LVS的負載調度演算法
      • 1)輪詢(Round Robin)
      • 2)加權輪詢 (Weighted Round Robin)
      • 3)最少連接 (Least Connections )
      • 4)加權最少連接(Weighted L east Connections )
  • 五、LVS負載均衡NAT模式群集部署
    • 環境配置
    • 1、部署共享存盤(NFS服務器:192.168.28.20)
    • 2、配置節點服務器(192.168.28.30、192.168.28.40)
      • Web-1(192.168.28.30)
      • Web-2(192.168.28.40)
    • 3、配置負載調度器(內網關 ens33:192.168.28.10,外網關 ens36:12.0.0.1)
    • 添加網卡
      • (1)配置SNAT轉發規則
      • (2)加載LVS內核模塊
      • (3)安裝ipvsadm 管理工具
      • (4)配置負載分配策略(NAT模式只要在負載均衡服務器上配置,節點服務器不需要特殊配置)
    • 4、測驗效果

一、群集的概念

1、群集的含義

群集:也被稱為Cluster、集群,是由多臺主機構成,但對外只表現為一個整體,只提供一個訪問入口(域名或IP),相當于一臺大型計算機,

2、為什么會有群集

出現的問題

互聯網應用中,隨著站點對硬體性能、回應速度、服務穩定性、資料可靠性等要求越來越高,單臺服務器無法滿足負載均衡及高可用的需求,

解決方法

方法一:使用價格昂貴的小型機、大型機,(花費高)
方法二:使用多臺相對廉價的普通服務器構建服務群集,(花費低)

結果

大部分企業都選擇方法二整合多臺服務器,使用LVS來達到服務器高可用和負載均衡,并于同一個IP地址對外提供相同服務,而這就是企業中常用的一種群集技術——LVS(Linux Virtual Server ,Linux虛擬服務器),

二、群集的分類

根據集群針對的目標差異,可分為以下三種

1、負載均衡群集

●提高應用系統的回應能力、盡可能處理更多的訪問請求、減少延遲為目標,獲得高并發、高負載(LB)的整體性能,
●LB的負載分配依賴于主節點的分流演算法,將來自客戶機的訪問請求分擔給多個服務器節點,從而緩解整個系統的負載,
例如:“DNS輪詢”、“反向代理”等,

2、高可用群集

●提高應用系統的可靠性、盡可能地減少中斷時間為目標,確保服務的連續性,達到高可用(HA) 的容錯效果,
●HA的作業方式包括雙工和主從兩種模式,雙工即所有節點同時在線;主從則只有主節點在線,但當出現故障時從節點能自動切換為主節點,
例如:“故障切換”、“雙機熱備” 等,

3、高性能群集

●以提高應用系統的CPU運算速度、擴展硬體資源和分析能力為目標,獲得相當于大型、超級計算機的高性能運算(HPC)能力,
●高性能依賴于"分布式運算”、“并行計算” , 通過專用硬體和軟體將多個服務器的CPU、記憶體等資源整合在一起,實作只有大型、超級計算機才具備的計算能力,
例如,“云計算”、“網格計算”等,
補充:這三種型別中,負載均衡群集和高可用群集通常結合使用,

三、負載均衡群集架構和作業模式

1、負載均衡的結構

第一層,負載調度器(Load Balancer或Director)

訪問整個群集系統的唯一入口, 對外使用所有服務器共有的VIP地址,也稱為群集IP地址,通常會配置主、備兩臺調度器實作熱備份,當主調度器失效以后能夠平滑替換至備用調度器,確保高可用性,

第二層,服務器池(Server Pool)

群集所提供的應用服務、由服務器池承擔,其中每個節點具有獨立的RIP地址(真實IP),只處理調度器分發過來的客戶機請求,當某個節點暫時失效時,負載調度器的容錯機制會將其隔離,等待錯誤排除以后再重新納入服務器池,

第三層,共享存盤(Share Storage)

為服務器池中的所有節點提供穩定、一致的檔案存取服務, 確保整個群集的統一性共享存盤可以使用NAS設備,或者提供NFS共享服務的專用服務器,
在這里插入圖片描述

2、負載均衡群集作業模式分析

負載均衡群集是目前企業用得最多的群集型別
群集的負載調度技術有3種作業模式,模式如下

1)NAT模式------地址轉換

●Network Address Translation,簡稱NAT模式
●類似于防火墻的私有網路結構,負載調度器作為所有服務器節點的網關,即作為客戶機的訪問入口,也是各節點回應客戶機的訪問出口
●服務器節點使用私有IP地址,與負載調度器位于同一個物理網路,安全性要優于其他兩種方式

2)TUN模式------IP隧道

●IP Tunnel,簡稱TUN模式
●采用開放式的網路結構,負載調度器僅作為客戶機的訪問入口,各節點通過各自的Internet連接直接回應客戶機,而不再經過負載調度器
●服務器節點分散在互聯網中的不同位置,具有獨立的公網IP地址,通過專用IP隧道與負載調度器相互通信

3)DR模式------直接路由

●Direct Routing,簡稱DR模式
●采用半開放式的網路結構,與TUN模式的結構類似,但各節點并不是分散在各地,而是與調度器位于同一個物理網路
負載調度器與各節點服務器通過本地網路連接,不需要建立專用的IP隧道

四、LVS虛擬服務器

1、Linux Virtual Server

●針對Linux內核開發的負載均衡解決方案
●1998年5月,由我國的章文嵩博士創建
●官方網站: http://www.linuxvirtualserver.org/
●LVS 實際上相當于基于IP地址的虛擬化應用, 為基于IP地址和內容請求分發的負載均衡提出了一種高效的解決方法
●LVS現在已成為Linux內核的一部分,默認編譯為ip_vs模塊,必要時能夠自動呼叫,在CentOS 7系統中,以下操作可以手動加載ip_ vs模塊,并查看當前系統中ip_vs模塊的版本資訊,

#加載ip_va模塊
modprobe ip_vs
#確認內核對LVS的支持
cat /proc/net/ip_vs

2、LVS的管理工具:ipvsadm

在這里插入圖片描述
要使用LVS的能力,只需安裝一個LVS的管理工具:ipvsadm

ipvsadm功能與選項說明

選項功能
-A添加虛擬服務器
-D洗掉整個虛擬服務器
-s指定負載調度演算法(輪詢:rr、加權輪詢:wrr、最少連接:lc、加權最少連接:wlc)
-a表示添加真實服務器(節點服務器)
-d洗掉某一個節點
-t指定 VIP地址及 TCP埠
-r指定 RIP地址及 TCP埠
-m表示使用 NAT群集模式
-g表示使用 DR模式
-i表示使用 TUN模式
-w設定權重(權重為 0 時表示暫停節點)
-p 60表示保持長連接60秒
-l串列查看 LVS 虛擬服務器(默認為查看所有)
-n以數字形式顯示地址、埠等資訊,常與“-l”選項組合使用,ipvsadm -ln

3、LVS的負載調度演算法

1)輪詢(Round Robin)

將收到的訪問請求按照順序輪流分配給群集中的各節點(真實服務器) ,均等地對待每一臺服務器 ,而不管服務器實際的連接數和系統負載

2)加權輪詢 (Weighted Round Robin)

根據調度器設定的權重值來分發請求,權重值高的節點優先獲得任務,分配的請求數越多
保證性能強的服務器承擔更多的訪問流量

3)最少連接 (Least Connections )

根據真實服務器已建立的連接數進行分配,將收到的訪問請求優先分配給連接數最少的節點

4)加權最少連接(Weighted L east Connections )

在服務器節點的性能差異較大時,可以為真實服務器自動調整權重
性能較高的節點將承擔更大比例的活動連接負載

五、LVS負載均衡NAT模式群集部署

LVS調度器作為Web 服務器池的網關,LVS具有兩塊網卡,分別連接內外網,使用輪詢(rr)調度演算法

環境配置

主機作業系統IP地址工具/軟體/安裝包
負載均衡器CentOS7內網:192.168.28.10、外網:12.0.0.1ipvsadm
NFS服務器CentOS7192.168.28.20rpcbind、nfs-utils
Web節點服務器1CentOS7192.168.28.30rpcbind、nfs-utils、httpd
Web節點服務器2CentOS7192.168.28.40rpcbind、nfs-utils、httpd
客戶端Windows1012.0.0.12

1、部署共享存盤(NFS服務器:192.168.28.20)

systemctl stop firewalld.service				#關閉防火墻
systemctl disable firewalld.service
setenforce 0									#關閉系統安全機制

yum -y install nfs-utils rpcbind				#安裝nfs的兩個安裝包,一般系統默認安裝的

systemctl start rpcbind.service					#先啟動rpcbind再開啟nfs服務,要注意先后順序
systemctl start nfs.service
systemctl enable nfs.service
systemctl enable rpcbind.service

mkdir /opt/meng									#在/opt目錄下創建兩個共享目錄
mkdir /opt/xiang

chmod 777 /opt/meng 							#為這兩個目錄賦權,所有用戶可讀寫執行
chmod 777 /opt/xiang

vim /etc/exports								#在/etc/exports里寫入共享策略
/usr/share *(ro,sync)	
/opt/meng 192.168.28.0/24(rw,sync)				#兩個目錄共享給192.168.28.0網段,權限可讀寫 資訊同步
/opt/xaing 192.168.28.0/24(rw,sync)

exportfs -rv									#發布共享

2、配置節點服務器(192.168.28.30、192.168.28.40)

systemctl stop firewalld.service
systemctl disable firewalld.service
setenforce 0

yum install httpd -y							#yum安裝apache服務,默認首頁目錄為/var/www/html
systemctl start httpd.service					#啟動httpd服務
systemctl enable httpd.service

yum -y install nfs-utils rpcbind				#安裝nfs、rpcbind服務,一般系統默認自動安裝
showmount -e 192.168.28.20						#查看共享目錄

systemctl start rpcbind							#開啟rpcbind服務
systemctl enable rpcbind

Web-1(192.168.28.30)

mount.nfs 192.168.28.20:/opt/meng /var/www/html				#將NFS服務器下的/opt/meng掛載到web-1服務器中httpd服務的默認首頁目錄/var/www/html下
df -h 														#查看掛載是否成功
echo 'this is meng web!' > /var/www/html/index.html			#在共享目錄下編輯一個網頁首頁
cat /var/www/html/index.html

vim /etc/sysconfig/network-scripts/ifcfg-ens33
修改網關資訊:改為負載均衡服務器的IP(192.168.28.10)
把DNS注釋掉

systemctl restart network

在這里插入圖片描述

切換到NFS服務器:
cd /opt/meng
ls			
cat  index.html				#查看web-1中設定的網頁主頁

在這里插入圖片描述

Web-2(192.168.28.40)

mount.nfs 192.168.28.20:/opt/xiang /var/www/html
echo 'this is xiang web!' > /var/www/html/index.html


vim /etc/sysconfig/network-scripts/ifcfg-ens33
修改網關資訊:改為負載均衡服務器的IP(192.168.28.10)
把DNS注釋掉

systemctl restart network

在這里插入圖片描述

3、配置負載調度器(內網關 ens33:192.168.28.10,外網關 ens36:12.0.0.1)

systemctl stop firewalld.service
systemctl disable firewalld.service
setenforce 0

添加網卡

在這里插入圖片描述

在這里插入圖片描述
在設定完成后,要記得重啟網卡

systemctl restart network

(1)配置SNAT轉發規則

vim /etc/sysctl.conf
net.ipv4.ip_forward = 1					#添加IP轉發功能
或
echo '1' > /proc/sys/net/ipv4/ip_forward

sysctl -p								#讀取修改后的配置

iptables -nL							#查看規則串列
iptables -t nat -F						#清理串列
iptables -F								

iptables -t nat -A POSTROUTING -s 192.168.28.0/24 -o ens36 -j SNAT --to-source 12.0.0.1		
#在nat表中的POSTROUTING鏈中添加規則:192.168.28.0/24網段的地址從ens36出去的時候轉換成地址12.0.0.1,控制為SNAT

iptables -t nat -L						#查看串列

在這里插入圖片描述

(2)加載LVS內核模塊

modprobe ip_vs					#加載 ip_vs模塊
cat /proc/net/ip_vs				#查看 ip_vs版本資訊

在這里插入圖片描述

(3)安裝ipvsadm 管理工具

yum -y install ipvsadm
啟動服務前須保存負載分配策略
ipvsadm-save > /etc/sysconfig/ipvsadm
或
ipvsadm --save > /etc/sysconfig/ipvsadm

systemctl start ipvsadm.service

(4)配置負載分配策略(NAT模式只要在負載均衡服務器上配置,節點服務器不需要特殊配置)

ipvsadm -C 					#清除原有策略
ipvsadm -A -t 12.0.0.1:80 -s rr
ipvsadm -a -t 12.0.0.1:80 -r 192.168.28.30:80 -m
ipvsadm -a -t 12.0.0.1:80 -r 192.168.28.40:80 -m		
ipvsadm						#啟用策略

ipvsadm -ln					#查看節點狀態,Masq代表 NAT模式
ipvsadm-save > /etc/sysconfig/ipvsadm						#保存分配策略
解釋:
ipvsadm -A -t 12.0.0.1:80 -s rr		
#-A添加虛擬服務器	-t:指定VIP地址和埠	-s rr:指定演算法為輪詢
ipvsadm -a -t 12.0.0.1:80 -r 192.168.28.40:80 -m
#-a:添加真是服務器	-r:指定真是地址和埠	-m:表示使用NAT群集模式

在這里插入圖片描述

4、測驗效果

在一臺IP為12.0.0.12的客戶機使用瀏覽器訪問 http://12.0.0.1/ ,不斷重繪瀏覽器測驗負載均衡效果,重繪間隔需長點.
在這里插入圖片描述
在這里插入圖片描述

轉載請註明出處,本文鏈接:https://www.uj5u.com/ruanti/265657.html

標籤:其他

上一篇:java 考試系統 在線學習 視頻直播 人臉識別 springboot框架 前后分離 PC和手機端

下一篇:AutoSAR配置視頻講解:Mcal配置

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • 面試突擊第一季,第二季,第三季

    第一季必考 https://www.bilibili.com/video/BV1FE411y79Y?from=search&seid=15921726601957489746 第二季分布式 https://www.bilibili.com/video/BV13f4y127ee/?spm_id_fro ......

    uj5u.com 2020-09-10 05:35:24 more
  • 第三單元作業總結

    1.前言 這應該是本學期最后一次寫作業總結了吧。總體來說,對作業的節奏也差不多掌握了,作業做起來的效率也更高了。雖然和之前的作業一樣,作業中都要用到新的知識,但是相比之前,更加懂得了如何利用工具以及資料。雖然之間卡過殼,但總體而言,這幾次作業還算完成的比較好。 2.作業程序總結 相比前兩個單元,此單 ......

    uj5u.com 2020-09-10 05:35:41 more
  • 北航OO(2020)第四單元博客作業暨課程總結博客

    北航OO(2020)第四單元博客作業暨課程總結博客 本單元作業的架構設計 在本單元中,由于UML圖具有比較清晰的樹形結構,因此我對其中需要進行查詢操作的元素進行了包裝,在樹的父節點中存盤所有孩子的參考。考慮到性能問題,我采用了快取機制,一次查詢后盡可能快取已經遍歷過的資訊,以減少遍歷次數。 本單元我 ......

    uj5u.com 2020-09-10 05:35:48 more
  • BUAA_OO_第四單元

    一、UML決議器設計 ? 先看下題目:第四單元實作一個基于JDK 8帶有效性檢查的UML(Unified Modeling Language)類圖,順序圖,狀態圖分析器 MyUmlInteraction,實際上我們要建立一個有向圖模型,UML中的物件(元素)可能與同級元素連接,也可與低級元素相連形成 ......

    uj5u.com 2020-09-10 05:35:54 more
  • 6.1邏輯運算子

    邏輯運算子 1. && 短路與 運算式1 && 運算式2 01.運算式1為true并且運算式2也為true 整體回傳為true 02.運算式1為false,將不會執行運算式2 整體回傳為false 03.只要有一個運算式為false 整體回傳為false 2. || 短路或 運算式1 || 運算式2 ......

    uj5u.com 2020-09-10 05:35:56 more
  • BUAAOO 第四單元 & 課程總結

    1. 第四單元:StarUml檔案決議 本單元采用了圖模型決議UML。 UML檔案可以抽象為圖、子圖、邊的邏輯結構。 在實作中,圖的節點包括類、介面、屬性,子圖包括狀態圖、順序圖等。 采用了三次遍歷UML元素的方法建圖,第一遍遍歷建點,第二、三次遍歷設定屬性、連邊,實作圖物件的初始化。這里借鑒了一些 ......

    uj5u.com 2020-09-10 05:36:06 more
  • 談談我對C# 多型的理解

    面向物件三要素:封裝、繼承、多型。 封裝和繼承,這兩個比較好理解,但要理解多型的話,可就稍微有點難度了。今天,我們就來講講多型的理解。 我們應該經常會看到面試題目:請談談對多型的理解。 其實呢,多型非常簡單,就一句話:呼叫同一種方法產生了不同的結果。 具體實作方式有三種。 一、多載 多載很簡單。 p ......

    uj5u.com 2020-09-10 05:36:09 more
  • Python 資料驅動工具:DDT

    背景 python 的unittest 沒有自帶資料驅動功能。 所以如果使用unittest,同時又想使用資料驅動,那么就可以使用DDT來完成。 DDT是 “Data-Driven Tests”的縮寫。 資料:http://ddt.readthedocs.io/en/latest/ 使用方法 dd. ......

    uj5u.com 2020-09-10 05:36:13 more
  • Python里面的xlrd模塊詳解

    那我就一下面積個問題對xlrd模塊進行學習一下: 1.什么是xlrd模塊? 2.為什么使用xlrd模塊? 3.怎樣使用xlrd模塊? 1.什么是xlrd模塊? ?python操作excel主要用到xlrd和xlwt這兩個庫,即xlrd是讀excel,xlwt是寫excel的庫。 今天就先來說一下xl ......

    uj5u.com 2020-09-10 05:36:28 more
  • 當我們創建HashMap時,底層到底做了什么?

    jdk1.7中的底層實作程序(底層基于陣列+鏈表) 在我們new HashMap()時,底層創建了默認長度為16的一維陣列Entry[ ] table。當我們呼叫map.put(key1,value1)方法向HashMap里添加資料的時候: 首先,呼叫key1所在類的hashCode()計算key1 ......

    uj5u.com 2020-09-10 05:36:38 more
最新发布
  • 【中介者設計模式詳解】C/Java/JS/Go/Python/TS不同語言實作

    * 中介者模式是一種行為型設計模式,它可以用來減少類之間的直接依賴關系,
    * 將物件之間的通信封裝到一個中介者物件中,從而使得各個物件之間的關系更加松散。
    * 在中介者模式中,物件之間不再直接相互互動,而是通過中介者來中轉訊息。 ......

    uj5u.com 2023-04-20 08:20:47 more
  • 露天煤礦現場調研和交流案例分享

    他們集團的資訊化公司及研究院在一個礦區正在做智能礦山的統一平臺的 試點,專案投資大概1億,包括了礦山的各方面的內容,顯示得我們這次交流有點多余。他們2年前開始做智能礦山的規劃,有很多煤礦行業專家的加持,他們的描述是非常完美,但是去年底應該上線的平臺,現在還沒有看到影子。他們確實有很多場景需求,但是被... ......

    uj5u.com 2023-04-20 08:20:25 more
  • 《社區人員管理》實戰案例設計&個人案例分享

    設計是一個讓人夢想成真程序,開始編碼、測驗、除錯之前進行需求分析和架構設計,才能保證關鍵方面都做正確 ......

    uj5u.com 2023-04-20 08:20:17 more
  • 軟體架構生態化-多角色交付的探索實踐

    作為一個技術架構師,不僅僅要緊跟行業技術趨勢,還要結合研發團隊現狀及痛點,探索新的交付方案。在日常中,你是否遇到如下問題 “ 業務需求排期長研發是瓶頸;非研發角色感受不到研發技改提效的變化;引入ISV 團隊又擔心質量和安全,培訓周期長“等等,基于此我們探索了一種新的技術體系及交付方案來解決如上問題。 ......

    uj5u.com 2023-04-20 08:20:10 more
  • 【中介者設計模式詳解】C/Java/JS/Go/Python/TS不同語言實作

    * 中介者模式是一種行為型設計模式,它可以用來減少類之間的直接依賴關系,
    * 將物件之間的通信封裝到一個中介者物件中,從而使得各個物件之間的關系更加松散。
    * 在中介者模式中,物件之間不再直接相互互動,而是通過中介者來中轉訊息。 ......

    uj5u.com 2023-04-20 08:19:44 more
  • 露天煤礦現場調研和交流案例分享

    他們集團的資訊化公司及研究院在一個礦區正在做智能礦山的統一平臺的 試點,專案投資大概1億,包括了礦山的各方面的內容,顯示得我們這次交流有點多余。他們2年前開始做智能礦山的規劃,有很多煤礦行業專家的加持,他們的描述是非常完美,但是去年底應該上線的平臺,現在還沒有看到影子。他們確實有很多場景需求,但是被... ......

    uj5u.com 2023-04-20 08:19:07 more
  • 《社區人員管理》實戰案例設計&個人案例分享

    設計是一個讓人夢想成真程序,開始編碼、測驗、除錯之前進行需求分析和架構設計,才能保證關鍵方面都做正確 ......

    uj5u.com 2023-04-20 08:18:57 more
  • 軟體架構生態化-多角色交付的探索實踐

    作為一個技術架構師,不僅僅要緊跟行業技術趨勢,還要結合研發團隊現狀及痛點,探索新的交付方案。在日常中,你是否遇到如下問題 “ 業務需求排期長研發是瓶頸;非研發角色感受不到研發技改提效的變化;引入ISV 團隊又擔心質量和安全,培訓周期長“等等,基于此我們探索了一種新的技術體系及交付方案來解決如上問題。 ......

    uj5u.com 2023-04-20 08:18:49 more
  • 05單件模式

    #經典的單件模式 public class Singleton { private static Singleton uniqueInstance; //一個靜態變數持有Singleton類的唯一實體。 // 其他有用的實體變數寫在這里 //構造器宣告為私有,只有Singleton可以實體化這個類! ......

    uj5u.com 2023-04-19 08:42:51 more
  • 【架構與設計】常見微服務分層架構的區別和落地實踐

    軟體工程的方方面面都遵循一個最基本的道理:沒有銀彈,架構分層模型更是如此,每一種都有各自優缺點,所以請根據不同的業務場景,并遵循簡單、可演進這兩個重要的架構原則選擇合適的架構分層模型即可。 ......

    uj5u.com 2023-04-19 08:42:41 more