在小區里面，是不是經常有住戶不自覺就霸占公共通道，如果你找他理論，他的話就像一個相聲《樓道曲》說的一樣：“公用公用，你用我用，大家都用，我為什么不能用？”，

除此之外，你租房子的時候，有沒有碰到這樣的情況：本來合租共享 WiFi，一個人狂下小電影，從而你網都上不去，是不是很懊惱？

在云平臺上，也有這種現象，好在有一種流量控制的技術，可以實作 QoS（Quality of Service），從而保障大多數用戶的服務質量，

對于控制一臺機器的網路的 QoS，分兩個方向，一個是入方向，一個是出方向，

其實我們能控制的只有出方向，通過 Shaping，將出的流量控制成自己想要的模樣，而進入的方向是無法控制的，只能通過 Policy 將包丟棄，

控制網路的 QoS 有哪些方式？

在 Linux 下，可以通過 TC 控制網路的 QoS，主要就是通過佇列的方式，

無類別排隊規則

第一大類稱為無類別排隊規則（Classless Queuing Disciplines），還記得我們講ip addr的時候講過的 pfifo_fast，這是一種不把網路包分類的技術，

pfifo_fast 分為三個先入先出的佇列，稱為三個 Band，根據網路包里面 TOS，看這個包到底應該進入哪個佇列，TOS 總共四位，每一位表示的意思不同，總共十六種型別， 

通過命令列 tc qdisc show dev eth0，可以輸出結果 priomap，也是十六個數字，在 0 到 2 之間，和 TOS 的十六種型別對應起來，表示不同的 TOS 對應的不同的佇列，其中 Band 0 優先級最高，發送完畢后才輪到 Band 1 發送，最后才是 Band 2，

另外一種無類別佇列規則叫作隨機公平佇列（Stochastic Fair Queuing），

 會建立很多的 FIFO 的佇列，TCP Session 會計算 hash 值，通過 hash 值分配到某個佇列，在佇列的另一端，網路包會通過輪詢策略從各個佇列中取出發送，這樣不會有一個 Session 占據所有的流量，

當然如果兩個 Session 的 hash 是一樣的，會共享一個佇列，也有可能互相影響，hash 函式會經常改變，從而 session 不會總是相互影響，

還有一種無類別佇列規則稱為令牌桶規則（TBF，Token Bucket Filte），

所有的網路包排成佇列進行發送，但不是到了隊頭就能發送，而是需要拿到令牌才能發送 

令牌根據設定的速度生成，所以即便佇列很長，也是按照一定的速度進行發送的，

當沒有包在佇列中的時候，令牌還是以既定的速度生成，但是不是無限累積的，而是放滿了桶為止，設定桶的大小為了避免下面的情況：當長時間沒有網路包發送的時候，積累了大量的令牌，突然來了大量的網路包，每個都能得到令牌，造成瞬間流量大增，

基于類別的佇列規則

另外一大類是基于類別的佇列規則（Classful Queuing Disciplines），其中典型的為分層令牌桶規則（HTB， Hierarchical Token Bucket），

HTB 往往是一棵樹，接下來我舉個具體的例子，通過 TC 如何構建一棵 HTB 樹來帶你理解，

使用 TC 可以為某個網卡 eth0 創建一個 HTB 的佇列規則，需要付給它一個句柄為（1:），

 這是整棵樹的根節點，接下來會有分支，例如圖中有三個分支，句柄分別為（:10）、（:11）、（:12），最后的引數 default 12，表示默認發送給 1:12，也即發送給第三個分支，

tc qdisc add dev eth0 root handle 1: htb default 12

對于這個網卡，需要規定發送的速度，一般有兩個速度可以配置，一個是 rate，表示一般情況下的速度；一個是 ceil，表示最高情況下的速度，對于根節點來講，這兩個速度是一樣的，于是創建一個 root class，速度為（rate=100kbps，ceil=100kbps），

tc class add dev eth0 parent 1: classid 1:1 htb rate 100kbps ceil 100kbps

接下來要創建分支，也即創建幾個子 class，每個子 class 統一有兩個速度，三個分支分別為（rate=30kbps，ceil=100kbps）、（rate=10kbps，ceil=100kbps）、（rate=60kbps，ceil=100kbps），

tc class add dev eth0 parent 1:1 classid 1:10 htb rate 30kbps ceil 100kbps
tc class add dev eth0 parent 1:1 classid 1:11 htb rate 10kbps ceil 100kbps
tc class add dev eth0 parent 1:1 classid 1:12 htb rate 60kbps ceil 100kbps

你會發現三個 rate 加起來，是整個網卡允許的最大速度，

HTB 有個很好的特性，同一個 root class 下的子類可以相互借流量，如果不直接在佇列規則下面創建一個 root class，而是直接創建三個 class，它們之間是不能相互借流量的，借流量的策略，可以使得當前不使用這個分支的流量的時候，可以借給另一個分支，從而不浪費帶寬，使帶寬發揮最大的作用，

最后，創建葉子佇列規則，分別為 fifo 和 sfq，

tc qdisc add dev eth0 parent 1:10 handle 20: pfifo limit 5
tc qdisc add dev eth0 parent 1:11 handle 30: pfifo limit 5
tc qdisc add dev eth0 parent 1:12 handle 40: sfq perturb 10

基于這個佇列規則，我們還可以通過 TC 設定發送規則：從 1.2.3.4 來的，發送給 port 80 的包，從第一個分支 1:10 走；其他從 1.2.3.4 發送來的包從第二個分支 1:11 走；其他的走默認分支，

tc filter add dev eth0 protocol ip parent 1:0 prio 1 u32 match ip src 1.2.3.4 match ip dport 80 0xffff flowid 1:10
tc filter add dev eth0 protocol ip parent 1:0 prio 1 u32 match ip src 1.2.3.4 flowid 1:11

如何控制 QoS？

我們講過，使用 OpenvSwitch 將云中的網卡連通在一起，那如何控制 QoS 呢？

就像我們上面說的一樣，OpenvSwitch 支持兩種：

• 對于進入的流量，可以設定策略 Ingress policy；

ovs-vsctl set Interface tap0 ingress_policing_rate=100000
ovs-vsctl set Interface tap0 ingress_policing_burst=10000

• 對于發出的流量，可以設定 QoS 規則 Egress shaping，支持 HTB，

我們構建一個拓撲圖，來看看 OpenvSwitch 的 QoS 是如何作業的，

 首先，在 port 上可以創建 QoS 規則，一個 QoS 規則可以有多個佇列 Queue，

ovs-vsctl set port first_br qos=@newqos -- --id=@newqos create qos type=linux-htb other-config:max-rate=10000000
queues=0=@q0,1=@q1,2=@q2 -- --id=@q0 create queue other-config:min-rate=3000000 other-config:max-rate=10000000 -- --id=@q1 create
queue other-config:min-rate=1000000 other-config:max-rate=10000000 -- --id=@q2 create queue other-config:min-rate=6000000
other-config:max-rate=10000000

上面的命令創建了一個 QoS 規則，對應三個 Queue，min-rate 就是上面的 rate，max-rate 就是上面的 ceil，通過交換機的網路包，要通過流表規則，匹配后進入不同的佇列，然后我們就可以添加流表規則 Flow(first_br 是 br0 上的 port 5)，

ovs-ofctl add-flow br0 "in_port=6 nw_src=https://www.cnblogs.com/peter-yan/p/192.168.100.100 actions=enqueue:5:0"
ovs-ofctl add-flow br0 "in_port=7 nw_src=https://www.cnblogs.com/peter-yan/p/192.168.100.101 actions=enqueue:5:1"
ovs-ofctl add-flow br0 "in_port=8 nw_src=https://www.cnblogs.com/peter-yan/p/192.168.100.102 actions=enqueue:5:2"

接下來，我們單獨測驗從 192.168.100.100，192.168.100.101，192.168.100.102 到 192.168.100.103 的帶寬的時候，每個都是能夠打滿帶寬的，

如果三個一起測驗，一起狂發網路包，會發現是按照 3:1:6 的比例進行的，正是根據配置的佇列的帶寬比例分配的，

如果 192.168.100.100 和 192.168.100.101 一起測驗，發現帶寬占用比例為 3:1，但是占滿了總的流量，也即沒有發包的 192.168.100.102 有 60% 的帶寬被借用了，

如果 192.168.100.100 和 192.168.100.102 一起測驗，發現帶寬占用比例為 1:2，如果 192.168.100.101 和 192.168.100.102 一起測驗，發現帶寬占用比例為 1:6，

小結

• 云中的流量控制主要通過佇列進行的，佇列分為兩大類：無類別佇列規則和基于類別的佇列規則，
• 云中網路 Openvswitch 中，主要使用的是分層令牌桶規則（HTB），將總的帶寬在一棵樹上按照配置的比例進行分配，并且在一個分支不用的時候，可以借給另外的分支，從而增強帶寬利用率，

標籤：其他

上一篇：熱門技術中的應用-云計算中的網路3-云中網路安全

下一篇：熱門技術中的應用-云計算中的網路5-云中網路隔離GRE、VXLAN：雖然住一個小區，也要保護隱私