Cgroup實作docker的資源控制-有解無憂

cgroup 相關概念解釋

Cgroups提供了以下功能：

限制行程組可以使用的資源（Resource limiting ）：比如memory子系統可以為行程組設定一個memory使用上限，行程組使用的記憶體達到限額再申請記憶體，就會出發OOM（out of memory）
行程組的優先級控制（Prioritization ）：比如可以使用cpu子系統為某個行程組分配cpu share
 記錄行程組使用的資源量（Accounting ）：比如使用cpuacct子系統記錄某個行程組使用的cpu時間
行程組隔離（Isolation）：比如使用ns子系統可以使不同的行程組使用不同的namespace，以達到隔離的目的，不同的行程組有各自的行程、網路、檔案系統掛載空間
行程組控制（Control）：比如使用freezer子系統可以將行程組掛起和恢復

CGroup的子系統

blkio -- 這個子系統為塊設備設定輸入/輸出限制，比如物理設備（磁盤，固態硬碟，USB 等等），
cpu -- 這個子系統使用調度程式提供對 CPU 的 cgroup 任務訪問，
cpuacct -- 這個子系統自動生成 cgroup 中任務所使用的 CPU 報告，
cpuset -- 這個子系統為 cgroup 中的任務分配獨立 CPU（在多核系統）和記憶體節點，
devices -- 這個子系統可允許或者拒絕 cgroup 中的任務訪問設備，
freezer -- 這個子系統掛起或者恢復 cgroup 中的任務，
memory -- 這個子系統設定 cgroup 中任務使用的記憶體限制，并自動生成由那些任務使用的記憶體資源報告，
net_cls -- 這個子系統使用等級識別符（classid）標記網路資料包，可允許 Linux 流量控制程式（tc）識別從具體 cgroup 中生成的資料包，
ns -- 名稱空間子系統

CGroup的術語

task：任務就是系統的一個行程
control group：控制族群就是按照某種標準劃分的行程，Cgroups 中的資源控制都是以控制族群為單位實作，一個行程可以加入到某個控制族群，也從一個行程組遷移到另一個控制族群，一個行程組的行程可以使用 cgroups 以控制族群為單位分配的資源，同時受到 cgroups 以控制族群為單位設定的限制；
hierarchy：控制族群可以組織成 hierarchical 的形式，既一顆控制族群樹，控制族群樹上的子節點控制族群是父節點控制族群的孩子，繼承父控制族群的特定的屬性；
subsystem：一個子系統就是一個資源控制器，比如 cpu 子系統就是控制 cpu 時間分配的一個控制器，子系統必須附加（attach）到一個層級上才能起作用，一個子系統附加到某個層級以后，這個層級上的所有控制族群都受到這個子系統的控制，

相互關系

每次在系統中創建新層級時，該系統中的所有任務都是那個層級的默認 cgroup（我們稱之為 root cgroup，此 cgroup 在創建層級時自動創建，后面在該層級中創建的 cgroup 都是此 cgroup 的后代）的初始成員；
一個子系統最多只能附加到一個層級；
一個層級可以附加多個子系統；
一個任務可以是多個 cgroup 的成員，但是這些 cgroup 必須在不同的層級；
系統中的行程（任務）創建子行程（任務）時，該子任務自動成為其父行程所在 cgroup 的成員，然后可根據需要將該子任務移動到不同的 cgroup 中，但開始時它總是繼承其父任務的 cgroup，

如圖所示，CPU 和 Memory 兩個子系統有自己獨立的層級系統，而又通過 Task Group 取得關聯關系
在這里插入圖片描述

top 按1出現4個核心數
在這里插入圖片描述

[root@server1 ~]# mkdir /opt/stress
[root@server1 ~]# cd /opt/
[root@server1 opt]# ls
containerd  rh  stress
[root@server1 opt]# cd stress
[root@server1 stress]# vim Dockerfile
FROM centos:7
MAINTAINER chen "chen@kgc.com"
RUN yum install -y wget
RUN wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
RUN yum install -y stress

[root@server1 stress]# docker build -t centos:stress .

[root@server1 stress]# docker images
REPOSITORY          TAG                 IMAGE ID            CREATED             SIZE
centos              stress              e3a7d1432e7b        28 seconds ago      417MB
centos              7                   8652b9f0cb4c        2 weeks ago         204MB

資源分配是在啟動容器的時候進行
使用如下命令創建容器，命令中的--cpu-shares 引數值不能保證可以獲得 1 個 vcpu 或 者多少 GHz 的 CPU 資源，它僅是一個彈性的加權值，
[root@localhost stress]# docker run -itd --cpu-shares 100 centos:stress

說明：默認情況下，每個 Docker容器的CPU份額都是1024，單獨一個容器的份額是沒有意義的，只有在同時運行多個容器時，容器的 CPU 加權的效果才能體現出來，
例如，兩個容器 A、B 的 CPU 份額分別為 1000 和 500，在CPU進行時間片分配的時候，容器A比容器B多一倍的機會獲得 CPU 的時間片，
但分配的結果取決于當時主機和其他容器的運行狀態，實際上也無法保證容器 A一定能獲得CPU時間片，比如容器A的行程一直是空閑的，
那么容器B是可以獲取比容器A更多的CPU時間片的，極端情況下，例如主機上只運行了一個容器，即使它的 CPU 份額只有 50，它也可以獨占整個主機的CPU資源，
cpu的資源是以時間按時間為計量單位的，CPU頻率越高，運數的資料越快，同時被執行的任務就多，散熱量就大，

Cgroups 只在容器分配的資源緊缺時，即在需要對容器使用的資源進行限制時，才會生效，因此，無法單純根據某個容器的CPU份額來確定有多少CPU資源分配給它，
資源分配結果取決于同時運行的其他容器的CPU分配和容器中行程運行情況，
可以通過 cpu share 可以設定容器使用 CPU 的優先級，比如啟動了兩個容器及運行查看 CPU 使用百分比，

[root@server1 stress]# docker run -itd --name cpu1 --cpu-shares 512 centos:stress stress -c 10
346a57f04d41145c385df26f0477d1ac67ffb738615de52642904e75e1c462e5
[root@server1 stress]# docker ps -a
CONTAINER ID        IMAGE               COMMAND             CREATED             STATUS              PORTS               NAMES
346a57f04d41        centos:stress       "stress -c 10"      16 seconds ago      Up 15 seconds                           cpu1
[root@server1 stress]# docker exec -it 346a57f04d41 /bin/bash
[root@346a57f04d41 /]# top

在這里插入圖片描述
此時看不出什么效果，因為只有一個容器在運行，一個容器給予分配配額是無意義的，這樣，我們再開啟一個容器進行測驗

[root@server1 ~]# docker run -itd --name cpu2 --cpu-shares 1024 centos:stress stress -c 10
[root@server1 ~]# docker ps -a
[root@server1 ~]# docker exec -it 231ea61837b6 /bin/bash
[root@231ea61837b6 /]# top

CONTAINER ID        IMAGE               COMMAND             CREATED             STATUS              PORTS               NAMES
231ea61837b6        centos:stress       "stress -c 10"      2 minutes ago       Up 2 minutes                            cpu2
346a57f04d41        centos:stress       "stress -c 10"      8 minutes ago       Up 8 minutes

在這里插入圖片描述

使用top查看對比兩個容器的%cpu，比例是1:2

CPU 周期限制
Docker 提供了–cpu-period、–cpu-quota 兩個引數控制容器可以分配到的 CPU 時鐘周期，
–cpu-period 是用來指定容器對 CPU 的使用要在多長時間內做一次重新分配，
–cpu-quota 是用來指定在這個周期內，最多可以有多少時間用來跑這個容器，

與 --cpu-shares 不同的是,這種配置是指定一個絕對值，容器對 CPU 資源的使用絕對不會超過配置的值，
cpu-period 和 cpu-quota 的單位為微秒（μs），cpu-period 的最小值為 1000 微秒，最大值為 1 秒（10^6 μs），默認值為 0.1 秒（100000 μs），
cpu-quota 的值默認為 -1，表示不做控制，cpu-period 和 cpu-quota 引數一般聯合使用，

例如：容器行程需要每 1 秒使用單個 CPU 的 0.2 秒時間，可以將 cpu-period 設定為 1000000（即 1 秒），cpu-quota 設定為 200000（0.2 秒），
當然，在多核情況下，如果允許容器行程完全占用兩個 CPU，則可以將 cpu-period 設定為 100000（即 0.1 秒）， cpu-quota 設定為 400000（0.4 秒），

[root@server1 stress]# docker run -itd --cpu-period 100000 --cpu-quota 400000 centos:stress 
54c7042da6bb1967306bc0d3303ffae605f14f385b9b170114654022dcb10e2a
[root@server1 stress]# docker ps -a
CONTAINER ID        IMAGE               COMMAND             CREATED             STATUS              PORTS               NAMES
54c7042da6bb        centos:stress       "/bin/bash"         11 seconds ago      Up 11 seconds                           practical_vaughan
[root@server1 stress]# docker exec -it 54c7042da6bb /bin/bash
[root@54c7042da6bb /]# cat /sys/fs/cgroup/cpu 
cpu/         cpu,cpuacct/ cpuacct/     cpuset/      
[root@54c7042da6bb /]# cat /sys/fs/cgroup/cpu/cpu.cfs_period_us 
100000
[root@54c7042da6bb /]# cat /sys/fs/cgroup/cpu/cpu.cfs_quota_us 
400000

CPU Core （容器資源分配）控制對多核 CPU 的服務器，Docker 還可以控制容器運行使用哪些 CPU 內核，即使用–cpuset-cpus 引數，
這對具有多 CPU 的服務器尤其有用，可以對需要高性能計算的容器進行性能最優的配置，

[root@server1 stress]# docker run -itd --name cpu03 --cpuset-cpus 0-1 centos:stress 
2e155af78ab6f120a6f5eeb04caffa736afd61b894608d1f3c1863452d233cd7
[root@server1 stress]# docker ps -a
CONTAINER ID        IMAGE               COMMAND             CREATED             STATUS              PORTS               NAMES
2e155af78ab6        centos:stress       "/bin/bash"         4 seconds ago       Up 4 seconds                            cpu03
[root@server1 stress]# docker exec -it 2e155af78ab6 /bin/bash
top 按1//發現四個核心數沒發生任何變化

在這里插入圖片描述

[root@2e155af78ab6 /]# stress -c 10  //做壓測
stress: info: [27] dispatching hogs: 10 cpu, 0 io, 0 vm, 0 hdd
附加：ctrl+c結束測驗
[root@server1 stress]# docker run -itd --name cpu04 --cpuset-cpus 2-3 centos:stress 
61277e77e6d52336784f929d598948f2576f355df5f1ab5352e05f41fb4fcc02
[root@server1 stress]# docker ps -a
CONTAINER ID        IMAGE               COMMAND             CREATED             STATUS              PORTS               NAMES
61277e77e6d5        centos:stress       "/bin/bash"         9 seconds ago       Up 9 seconds                            cpu04
2e155af78ab6        centos:stress       "/bin/bash"         6 minutes ago       Up 6 minutes                            cpu03
[root@server1 stress]# docker exec -it 61277e77e6d5 /bin/bash
[root@61277e77e6d5 /]# stress -c 10
stress: info: [27] dispatching hogs: 10 cpu, 0 io, 0 vm, 0 hdd

在這里插入圖片描述
發現只有0,1核心數發生變化

[root@server1 stress]# docker run -itd --name cpu04 --cpuset-cpus 2-3 centos:stress 
61277e77e6d52336784f929d598948f2576f355df5f1ab5352e05f41fb4fcc02
[root@server1 stress]# docker ps -a
CONTAINER ID        IMAGE               COMMAND             CREATED             STATUS              PORTS               NAMES
61277e77e6d5        centos:stress       "/bin/bash"         9 seconds ago       Up 9 seconds                            cpu04
2e155af78ab6        centos:stress       "/bin/bash"         6 minutes ago       Up 6 minutes                            cpu03
[root@server1 stress]# docker exec -it 61277e77e6d5 /bin/bash
[root@61277e77e6d5 /]# stress -c 10
stress: info: [27] dispatching hogs: 10 cpu, 0 io, 0 vm, 0 hdd

在這里插入圖片描述
發現只有2,3核心數發生變化
[root@61277e77e6d5 /]# cat /sys/fs/cgroup/cpuset/cpuset.cpus
2-3

通過下面指令可以看到容器中行程與 CPU 內核的系結關系，達到系結 CPU 內核的目的，
[root@server1 stress]# docker exec 61277e77e6d5 taskset -c -p 1
  //容器內部第一個行程號pid為1被系結到指定CPU上運行
pid 1's current affinity list: 2,3
[root@server1 stress]# docker exec 2e155af78ab6  taskset -c -p 1 //查詢使用哪個核心
pid 1's current affinity list: 0,1

CPU 配額控制引數的混合使用

通過 cpuset-cpus 引數指定容器 A 使用 CPU 內核 0，容器 B 只是用 CPU 內核 1，
在主機上只有這兩個容器使用對應 CPU 內核的情況，它們各自占用全部的內核資源，cpu-shares 沒有明顯效果，
cpuset-cpus、cpuset-mems 引數只在多核、多記憶體節點上的服務器上有效，并且必須與實際的物理配置匹配，否則也無法達到資源控制的目的，
在系統具有多個 CPU 內核的情況下，需要通過 cpuset-cpus 引數為設定容器 CPU 內核才能方便地進行測驗，

[root@server1 stress]# docker run -tid --name cpu3 --cpuset-cpus 1 --cpu-shares 512 centos:stress stress -c 1
d7f14bbbde81697c837e108fac8832735f0012794332a9605aae0f24a22b5ad0
[root@server1 stress]# docker ps -a
CONTAINER ID        IMAGE               COMMAND             CREATED             STATUS              PORTS               NAMES
d7f14bbbde81        centos:stress       "stress -c 1"       20 seconds ago      Up 19 seconds                           cpu3
[root@server1 stress]# docker exec -it d7f14bbbde81 /bin/bash

在這里插入圖片描述
關閉容器

[root@server1 stress]# docker run -tid --name cpu4 --cpuset-cpus 3 --cpu-shares 1024 centos:stress stress -c 1
34c37f94323dbf4d5cde6c01047ebc25358a8455317fbea9f3d33ee54f06c695
[root@server1 stress]# docker ps -a
CONTAINER ID        IMAGE               COMMAND             CREATED             STATUS              PORTS               NAMES
34c37f94323d        centos:stress       "stress -c 1"       15 seconds ago      Up 14 seconds                           cpu4
d7f14bbbde81        centos:stress       "stress -c 1"       2 minutes ago       Up 2 minutes                            cpu3
[root@server1 stress]# docker exec -it 34c37f94323d /bin/bash

在這里插入圖片描述
總結：上面的 centos:stress 鏡像安裝了 stress 工具，用來測驗 CPU 和記憶體的負載，通過在兩個容器上分別執行 stress -c 1 命令，
將會給系統一個隨機負載，產生 1 個行程，這個行程都反復不停的計算由 rand() 產生亂數的平方根，直到資源耗盡，
觀察到宿主機上的 CPU 使用率，第三個內核的使用率接近 100%，并且一批行程的 CPU 使用率明顯存在 2:1 的使用比例的對比，

記憶體限額
與作業系統類似，容器可使用的記憶體包括兩部分：物理記憶體和 Swap，
Docker 通過下面兩組引數來控制容器記憶體的使用量，

-m 或 --memory：設定記憶體的使用限額，例如 100M、1024M，
–memory-swap：設定記憶體+swap 的使用限額，
執行如下命令允許該容器最多使用 200M 的記憶體和 300M 的 swap，

[root@localhost stress]# docker run -it -m 200M --memory-swap=300M progrium/stress --vm 1 --vm-bytes 250M
--vm 1：啟動 1 個記憶體作業執行緒， 
--vm-bytes 250M：每個執行緒分配 250M 記憶體，

在這里插入圖片描述

stress: dbug: [6] touching bytes in strides of 4096 bytes ...   ctrl+c 結束任務
^Cstress: FAIL: [1] (416) <-- worker 6 got signal 2
stress: WARN: [1] (418) now reaping child worker processes
stress: FAIL: [1] (422) kill error: No such process
stress: FAIL: [1] (452) failed run completed in 86s
[root@server1 stress]# docker ps -a  //此時容器的狀態為自動退出
CONTAINER ID        IMAGE               COMMAND                  CREATED             STATUS                       PORTS               NAMES
4dc8305626cb        progrium/stress     "/usr/bin/stress --v…"   2 minutes ago       Exited (1) 44 seconds ago                        busy_franklin

默認情況下，容器可以使用主機上的所有空閑記憶體，
與 CPU 的 cgroups 配置類似， Docker 會自動為容器在目錄 /sys/fs/cgroup/memory/docker/<容器的完整長 ID>
中創建相應 cgroup 組態檔

如果讓作業執行緒分配的記憶體超過 300，分配的記憶體超過限額，stress 執行緒報錯，容器退出，

[root@server1 stress]# docker run -it -m 200M --memory-swap=300M progrium/stress --vm 1 --vm-bytes 400M
stress: info: [1] dispatching hogs: 0 cpu, 0 io, 1 vm, 0 hdd
stress: dbug: [1] using backoff sleep of 3000us
stress: dbug: [1] --> hogvm worker 1 [6] forked
stress: dbug: [6] allocating 419430400 bytes ...
stress: dbug: [6] touching bytes in strides of 4096 bytes ...
stress: FAIL: [1] (416) <-- worker 6 got signal 9
stress: WARN: [1] (418) now reaping child worker processes
stress: FAIL: [1] (422) kill error: No such process
stress: FAIL: [1] (452) failed run completed in 0s

Block IO 的限制
默認情況下，所有容器能平等地讀寫磁盤，可以通過設定–blkio-weight（權重）引數來改變容器 block IO 的優先級，
–blkio-weight 與 --cpu-shares 類似，設定的是相對權重值，默認為 500，
在下面的例子中，容器 A 讀寫磁盤的帶寬是容器 B 的兩倍，

[root@server1 stress]#  docker run -it --name container_B --blkio-weight 250 centos:stress
[root@5ae358d427ed /]# cat /sys/fs/cgroup/blkio/blkio.weight
250

[root@server1 stress]#  docker run -it --name container_S --blkio-weight 321 centos:stress
[root@42b42ebfb393 /]# cat /sys/fs/cgroup/blkio/blkio.weight
321

bps 和 iops 的限制吞吐量的限制

bps 是 byte per second，每秒讀寫的資料量，
iops 是 io per second，每秒 IO 的次數，
可通過以下引數控制容器的 bps 和 iops：

–device-read-bps，限制讀某個設備的 bps，
–device-write-bps，限制寫某個設備的 bps，
–device-read-iops，限制讀某個設備的 iops，
–device-write-iops，限制寫某個設備的 iops，

下面的示例是限制容器寫 /dev/sda 的速率為 25 MB/s，

[root@server1 stress]#  docker run -it --device-write-bps /dev/sda:25MB centos:stress
[root@859811cc5303 /]# dd if=/dev/zero of=test bs=1M count=1024 oflag=direct   //，

標記出讀寫的速度，可以按ctrl+c中斷查看
此時沒有顯示資料，但ctrl+c可以終止查看
附加：dd if=/dev/null linux的黑洞，放不下，放進去就再也拿不出來了
zero：取之不完

[root@859811cc5303 /]# dd if=/dev/zero of=test bs=1M count=1024 oflag=direct
^C126+0 records in
126+0 records out
132120576 bytes (132 MB) copied, 5.0212 s, 26.3 MB/

過 dd 命令測驗在容器中寫磁盤的速度，因為容器的檔案系統是在 host /dev/sda 上的，
在容器中寫檔案相當于對 host /dev/sda 進行寫操作，另外，oflag=direct 指定用 direct IO 方式寫檔案，
這樣 --device-write-bps 才能生效，

結果表明限速 25MB/s 左右，作為對比測驗，如果不限速，結果如下，

[root@server1 stress]#  docker run -it  centos:stress
[root@f4f7819485f2 /]# dd if=/dev/zero of=test bs=1M count=1024 oflag=direct
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 0.815358 s, 1.3 GB/s

轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/230369.html

標籤：其他

上一篇：vs2017安裝詳情

下一篇：Linux 6 系統本地創建yum源教程