容器網路（十）如何快速部署 Prometheus？【79】

（八）如何快速部署 Prometheus？

上一節介紹了 Prometheus 的核心，多維資料模型，本節演示如何快速搭建 Prometheus 監控系統，

（1）環境說明

? 我們將通過 Prometheus 監控兩臺 Docker Host：10.0.0.21 和 10.0.0.22，監控 host 和容器兩個層次的資料，

按照架構圖，我們需要運行如下組件：

（2）Prometheus Server

Prometheus Server 本身也將以容器的方式運行在 host 10.0.0.21 上，

（3）Exporter

Prometheus 有很多現成的 Exporter，完整串列請參考 https://prometheus.io/docs/instrumenting/exporters/

我們將使用：

1. Node Exporter，負責收集 host 硬體和作業系統資料，它將以容器方式運行在所有 host 上，
2. cAdvisor，負責收集容器資料，它將以容器方式運行在所有 host 上，

（4）Grafana

顯示多維資料，Grafana 本身也將以容器方式運行在 host 10.0.0.21上，

（5）運行 Node Exporter

在兩個 host 上執行如下命令：

docker run -d -p 9100:9100 \
  -v "/proc:/host/proc" \
  -v "/sys:/host/sys" \
  -v "/:/rootfs" \
  --net=host \
  prom/node-exporter \
  --path.procfs /host/proc \
  --path.sysfs /host/sys \
  --collector.filesystem.ignored-mount-points "^/(sys|proc|dev|host|etc)($|/)"

注意，這里我們使用了 --net=host，這樣 Prometheus Server 可以直接與 Node Exporter 通信，

Node Exporter 啟動后，將通過 9100 提供 host 的監控資料，在瀏覽器中通過 http://10.0.0.21:9100/metrics 測驗一下，

# HELP go_gc_duration_seconds A summary of the pause duration of garbage collection cycles.
# TYPE go_gc_duration_seconds summary
go_gc_duration_seconds{quantile="0"} 0
go_gc_duration_seconds{quantile="0.25"} 0
go_gc_duration_seconds{quantile="0.5"} 0
go_gc_duration_seconds{quantile="0.75"} 0
go_gc_duration_seconds{quantile="1"} 0
go_gc_duration_seconds_sum 0
go_gc_duration_seconds_count 0
# HELP go_goroutines Number of goroutines that currently exist.
# TYPE go_goroutines gauge
go_goroutines 9
# HELP go_info Information about the Go environment.
# TYPE go_info gauge
go_info{version="go1.14.4"} 1
# HELP go_memstats_alloc_bytes Number of bytes allocated and still in use.
# TYPE go_memstats_alloc_bytes gauge
go_memstats_alloc_bytes 1.221024e+06
# HELP go_memstats_alloc_bytes_total Total number of bytes allocated, even if freed.
# TYPE go_memstats_alloc_bytes_total counter
go_memstats_alloc_bytes_total 1.221024e+06
# HELP go_memstats_buck_hash_sys_bytes Number of bytes used by the profiling bucket hash table.
# TYPE go_memstats_buck_hash_sys_bytes gauge
go_memstats_buck_hash_sys_bytes 1.445015e+06
# HELP go_memstats_frees_total Total number of frees.
# TYPE go_memstats_frees_total counter
go_memstats_frees_total 616
# HELP go_memstats_gc_cpu_fraction The fraction of this program's available CPU time used by the GC since the program started.
# TYPE go_memstats_gc_cpu_fraction gauge
go_memstats_gc_cpu_fraction 0
# HELP go_memstats_gc_sys_bytes Number of bytes used for garbage collection system metadata.
# TYPE go_memstats_gc_sys_bytes gauge
go_memstats_gc_sys_bytes 3.436808e+06
# HELP go_memstats_heap_alloc_bytes Number of heap bytes allocated and still in use.
# TYPE go_memstats_heap_alloc_bytes gauge
go_memstats_heap_alloc_bytes 1.221024e+06
# HELP go_memstats_heap_idle_bytes Number of heap bytes waiting to be used.
# TYPE go_memstats_heap_idle_bytes gauge
go_memstats_heap_idle_bytes 6.4282624e+07
# HELP go_memstats_heap_inuse_bytes Number of heap bytes that are in use.
# TYPE go_memstats_heap_inuse_bytes gauge
go_memstats_heap_inuse_bytes 2.433024e+06
# HELP go_memstats_heap_objects Number of allocated objects.
# TYPE go_memstats_heap_objects gauge
go_memstats_heap_objects 7382
# HELP go_memstats_heap_released_bytes Number of heap bytes released to OS.

（6）運行 cAdvisor

在兩個 host 上執行如下命令：

docker run \
  --volume=/:/rootfs:ro \
  --volume=/var/run:/var/run:rw \
  --volume=/sys:/sys:ro \
  --volume=/var/lib/docker/:/var/lib/docker:ro \
  --publish=8080:8080 \
  --detach=true \
  --name=cadvisor \
  --net=host \
  google/cadvisor:latest

注意，這里我們使用了 --net=host，這樣 Prometheus Server 可以直接與 cAdvisor 通信，

cAdvisor 啟動后，將通過 8080 提供 host 的監控資料，在瀏覽器中通過 http://10.0.0.22:8080/metrics 測驗一下，

# HELP cadvisor_version_info A metric with a constant '1' value labeled by kernel version, OS version, docker version, cadvisor version & cadvisor revision.
# TYPE cadvisor_version_info gauge
cadvisor_version_info{cadvisorRevision="8949c822",cadvisorVersion="v0.32.0",dockerVersion="19.03.13",kernelVersion="4.15.0-122-generic",osVersion="Alpine Linux v3.7"} 1
# HELP container_cpu_load_average_10s Value of container cpu load average over the last 10 seconds.
# TYPE container_cpu_load_average_10s gauge
container_cpu_load_average_10s{container_label_maintainer="",container_label_org_label_schema_description="",container_label_org_label_schema_name="",container_label_org_label_schema_schema_version="",container_label_org_label_schema_url="",container_label_org_label_schema_vcs_ref="",container_label_org_label_schema_vcs_url="",container_label_org_label_schema_vendor="",container_label_org_opencontainers_image_description="",container_label_org_opencontainers_image_revision="",container_label_org_opencontainers_image_source="",container_label_org_opencontainers_image_title="",container_label_org_opencontainers_image_url="",container_label_org_opencontainers_image_vendor="",container_label_works_weave_role="",id="/",image="",name=""} 0
container_cpu_load_average_10s{container_label_maintainer="",container_label_org_label_schema_description="",container_label_org_label_schema_name="",container_label_org_label_schema_schema_version="",container_label_org_label_schema_url="",container_label_org_label_schema_vcs_ref="",container_label_org_label_schema_vcs_url="",container_label_org_label_schema_vendor="",container_label_org_opencontainers_image_description="",container_label_org_opencontainers_image_revision="",container_label_org_opencontainers_image_source="",container_label_org_opencontainers_image_title="",container_label_org_opencontainers_image_url="",container_label_org_opencontainers_image_vendor="",container_label_works_weave_role="",id="/docker",image="",name=""} 0
container_cpu_load_average_10s{container_label_maintainer="",container_label_org_label_schema_description="",container_label_org_label_schema_name="",container_label_org_label_schema_schema_version="",container_label_org_label_schema_url="",container_label_org_label_schema_vcs_ref="",container_label_org_label_schema_vcs_url="",container_label_org_label_schema_vendor="",container_label_org_opencontainers_image_description="",container_label_org_opencontainers_image_revision="",container_label_org_opencontainers_image_source="",container_label_org_opencontainers_image_title="",container_label_org_opencontainers_image_url="",container_label_org_opencontainers_image_vendor="",container_label_works_weave_role="",id="/docker/95ddff3ce5af3f26e027ba9247838f8f0186f3cd104afcfb2109aa14bc49dd56",image="google/cadvisor:latest",name="cadvisor"} 0

(7)運行 Prometheus Server

在 host 10.0.0.22上執行如下命令：

docker run -d -p 9090:9090 \
  -v /root/prometheus.yml:/etc/prometheus/prometheus.yml \
  --name prometheus \
  --net=host \
  prom/prometheus

注意，這里我們使用了 --net=host，這樣 Prometheus Server 可以直接與 Exporter 和 Grafana 通信，

prometheus.yml 是 Prometheus Server 的組態檔，

最重要的配置是：

static_configs:
  - targets: ['localhost:9090','localhost:8080','localhost:9100','10.0.0.21:8080','10.0.0.21:9100']

指定從哪些 exporter 抓取資料，這里指定了兩臺 host 上的 Node Exporter 和 cAdvisor，

另外 localhost:9090 就是 Prometheus Server 自己，可見 Prometheus 本身也會收集自己的監控資料，同樣地，我們也可以通過 http://10.0.0.22:9090/metrics 測驗一下，

在瀏覽器中打開 http://10.0.0.22:9090 ，點擊選單 Status -> Targets，

如下圖所示：

所有 Target 的 State 都是 UP，說明 Prometheus Server 能夠正常獲取監控資料，

(8)運行 Grafana

在 host 10.0.0.22 上執行如下命令：

docker run -d -i -p 3000:3000 \
  -e "GF_SERVER_ROOT_URL=http://grafana.server.name"  \
  -e "GF_SECURITY_ADMIN_PASSWORD=secret"  \
  --net=host \
  grafana/grafana

注意，這里我們使用了 --net=host，這樣 Grafana 可以直接與 Prometheus Server 通信，

-e "GF_SECURITY_ADMIN_PASSWORD=secret 指定了 Grafana admin用戶密碼 secret，

Grafana 啟動后，在瀏覽器中打開 http://10.0.0.22:3000/

Name 為 Data Source 命名，例如 prometheus，

Type 選擇 Prometheus，

Url 輸入 Prometheus Server 的地址 http://10.0.0.22:9090

其他保持默認值，點擊 Add，

如果一切順利，Grafana 應該已經能夠訪問 Prometheus 中存放的監控資料了，那么如何展示呢？

Grafana 是通過 Dashboard 展示資料的，在 Dashboard 中需要定義：

1. 展示 Prometheus 的哪些多維資料？需要給出具體的查詢語言運算式，
2. 用什么形式展示，比如二維線性圖，儀表圖，各種坐標的含義等，

可見，要做出一個 Dashboard 也不是件容易的事情，幸運的是，我們可以借助開源社區的力量，直接使用現成的 Dashboard，

訪問 https://grafana.com/dashboards?dataSource=prometheus&search=docker，將會看到很多用于監控 Docker 的 Dashboard，

我們可以下載這些現成的 Dashboard，然后 import 到我們的 Grafana 中就可以直接使用了，

比如下載 Docker and system monitoring，得到一個 json 檔案，然后點擊 Grafana 左上角選單 Dashboards -> Import，匯入我們下載的 json 檔案，

Dashboard 將立刻展示出漂亮的圖表，

在這個 Dashboard 中，上部分是 host 的資料，我們可以通過 Node 切換不同的 host，

Dashboard 的下半部分展示的是所有的容器監控資料，Grafana 的 Dashboard 是可互動的，我們可以在圖表上只顯示指定的容器、選取指定的時間區間、重新組織和排列圖表、調整重繪頻率，功能非常強大，

好了，以上就完成了 Prometheus 監控系統的部署，更多功能大家可以自行探索，到這里我們已經學習了多種 Docker 監控方案，是時候對它們做個比較了，下一節見，

標籤：其他

上一篇：容器網路（十）Prometheus 架構【78】

下一篇：容器網路（十）一張表搞懂各種 Docker 監控方案【80】