主頁 > 軟體設計 > Docker 容器日志管理最佳實踐

Docker 容器日志管理最佳實踐

2020-09-11 14:59:48 軟體設計

本文所有內容基于:

Docker-CE
Server Version: 18.09.6
Storage Driver: overlay2
Kernel Version: 3.10.0-862.el7.x86_64
Operating System: CentOS Linux 7 (Core)

Docker 日志分為兩類:

  • Docker 引擎日志(也就是 dockerd 運行時的日志),
  • 容器的日志,容器內的服務產生的日志,

一 、Docker 引擎日志

Docker 引擎日志一般是交給了 Upstart(Ubuntu 14.04) 或者 systemd (CentOS 7, Ubuntu 16.04),前者一般位于 /var/log/upstart/docker.log 下,后者我們一般 通過 journalctl -u docker 來進行查看,

| 系統                   | 日志位置                                                     |
| ---------------------- | ------------------------------------------------------------ |
| Ubuntu(14.04)          | `/var/log/upstart/docker.log`                                |
| Ubuntu(16.04)          | `journalctl -u docker.service`                               |
| CentOS 7/RHEL 7/Fedora | `journalctl -u docker.service`                               |
| CoreOS                 | `journalctl -u docker.service`                               |
| OpenSuSE               | `journalctl -u docker.service`                               |
| OSX                    | `~/Library/Containers/com.docker.docker/Data/com.docker.driver.amd64-linux/log/d?ocker.log` |
| Debian GNU/Linux 7     | `/var/log/daemon.log`                                        |
| Debian GNU/Linux 8     | `journalctl -u docker.service`                               |
| Boot2Docker            | `/var/log/docker.log`                                        |

以上內容來自:https://blog.lab99.org/post/docker-2016-07-14-faq.html

二、容器日志

2.1、常用查看日志命令——docker logs

docker logs CONTAINER 顯示當前運行的容器的日志資訊, UNIX 和 Linux 的命令有三種 輸入輸出,分別是 STDIN(標準輸入)、STDOUT(標準輸出)、STDERR(標準錯誤輸出),docker logs 顯示的內容包含 STOUT 和 STDERR,在生產環境,如果我們的應用輸出到我們的日志檔案里,所以我們在使用 docker logs 一般收集不到太多重要的日志資訊,

  • nginx 官方鏡像,使用了一種方式,讓日志輸出到 STDOUT,也就是 創建一個符號鏈接 /var/log/nginx/access.log/dev/stdout
  • httpd 使用的是 讓其輸出到指定檔案 ,正常日志輸出到 /proc/self/fd/1 (STDOUT) ,錯誤日志輸出到 /proc/self/fd/2 (STDERR),
  • 當日志量比較大的時候,我們使用 docker logs 來查看日志,會對 docker daemon 造成比較大的壓力,容器導致容器創建慢等一系列問題,
  • 只有使用了 local 、json-file、journald 的日志驅動的容器才可以使用 docker logs 捕獲日志,使用其他日志驅動無法使用 docker logs

2.2 、Docker 日志 驅動

Docker 提供了兩種模式用于將訊息從容器到日志驅動,

  • (默認)拒絕,阻塞從容器到容器驅動
  • 非阻塞傳遞,日志將儲存在容器的緩沖區,

當緩沖區滿,舊的日志將被丟棄,

在 mode 日志選項控制使用 blocking(默認) 或者 non-blocking, 當設定為 non-blocking 需要設定 max-buffer-size 引數(默認為 1MB),

支持的驅動

|                                                              | 描述                                                         |
| :----------------------------------------------------------- | :----------------------------------------------------------- |
| `none`                                                       | 運行的容器沒有日志,`docker logs`也不回傳任何輸出,          |
| [`local`](https://docs.docker.com/config/containers/logging/local/) | 日志以自定義格式存盤,旨在實作最小開銷,                     |
| [`json-file`](https://docs.docker.com/config/containers/logging/json-file/) | 日志格式為JSON,Docker的默認日志記錄驅動程式,               |
| [`syslog`](https://docs.docker.com/config/containers/logging/syslog/) | 將日志訊息寫入`syslog`,該`syslog`守護程式必須在主機上運行, |
| [`journald`](https://docs.docker.com/config/containers/logging/journald/) | 將日志訊息寫入`journald`,該`journald`守護程式必須在主機上運行, |
| [`gelf`](https://docs.docker.com/config/containers/logging/gelf/) | 將日志訊息寫入Graylog擴展日志格式(GELF)端點,例如Graylog或Logstash, |
| [`fluentd`](https://docs.docker.com/config/containers/logging/fluentd/) | 將日志訊息寫入`fluentd`(轉發輸入),該`fluentd`守護程式必須在主機上運行, |
| [`awslogs`](https://docs.docker.com/config/containers/logging/awslogs/) | 將日志訊息寫入Amazon CloudWatch Logs,                       |
| [`splunk`](https://docs.docker.com/config/containers/logging/splunk/) | 使用HTTP事件收集器將日志訊息寫入`splunk`,                   |
| [`etwlogs`](https://docs.docker.com/config/containers/logging/etwlogs/) | 將日志訊息寫為Windows事件跟蹤(ETW)事件,僅適用于Windows平臺, |
| [`gcplogs`](https://docs.docker.com/config/containers/logging/gcplogs/) | 將日志訊息寫入Google Cloud Platform(GCP)Logging,          |
| [`logentries`](https://docs.docker.com/config/containers/logging/logentries/) | 將日志訊息寫入Rapid7 Logentries,                            |

使用 Docker-CE 版本,docker logs 命令 僅僅適用于以下驅動程式(前面 docker logs 詳解也提及到了)

  • local
  • json-file
  • journald

1558055133186

Docker 日志驅動常用命令

查看系統當前設定的日志驅動

docker  info |grep  "Logging Driver"  / docker info --format '{{.LoggingDriver}}'

查看單個容器的設定的日志驅動

docker inspect  -f '{{.HostConfig.LogConfig.Type}}'   容器id

Docker 日志驅動全域配置更改

修改日志驅動,在組態檔 /etc/docker/daemon.json(注意該檔案內容是 JSON 格式的)進行配置即可,

示例:

{
  "log-driver": "syslog"
}

以上更改是針對所有的容器的日志驅動的,我們也可以單獨為單一容器設定日志驅動,

Docker 單一容器日志驅動配置

在 運行容器的時候指定 日志驅動 --log-driver

docker  run  -itd --log-driver none alpine ash # 這里指定的日志驅動為 none 

日志驅動 一 、local

local 日志驅動 記錄從容器的 STOUT/STDERR 的輸出,并寫到宿主機的磁盤,

默認情況下,local 日志驅動為每個容器保留 100MB 的日志資訊,并啟用自動壓縮來保存,(經過測驗,保留100MB 的日志是指沒有經過壓縮的日志)

local 日志驅動的儲存位置 /var/lib/docker/containers/容器id/local-logs/container.log 命名,

local 驅動支持的選項

| 選項       | 描述                                                         | 示例值                     |
| :--------- | :----------------------------------------------------------- | :------------------------- |
| `max-size` | 切割之前日志的最大大小,可取值為(k,m,g), 默認為20m,        | `--log-opt max-size=10m`   |
| `max-file` | 可以存在的最大日志檔案數,如果超過最大值,則會洗掉最舊的檔案,**僅在max-size設定時有效,默認為5, | `--log-opt max-file=3`     |
| `compress` | 對應切割日志檔案是否啟用壓縮,默認情況下啟用,               | `--log-opt compress=false` |

全域日志驅動設定為—local

在組態檔 /etc/docker/daemon.json(注意該檔案內容是 JSON 格式的)進行配置即可,

{
  "log-driver": "local",
  "log-opts": {
    "max-size": "10m"
  }
}

重啟 docker 即可生效,

單個容器日志驅動設定為—local

運行容器并設定為 local 驅動,

#  運行一個容器 ,并設定日志驅動為 local ,并運行命令 ping www.baidu.com
[root@localhost docker]# docker run  -itd  --log-driver  local  alpine  ping www.baidu.com 
3795b6483534961c1d5223359ad1106433ce2bf25e18b981a47a2d79ad7a3156
#  查看運行的容器的 日志驅動是否是 local
[root@localhost docker]# docker inspect  -f '{{.HostConfig.LogConfig.Type}}'   3795b6483534961c
local
# 查看日志
[root@localhost local-logs]# tail -f  /var/lib/docker/containers/3795b6483534961c1d5223359ad1106433ce2bf25e18b981a47a2d79ad7a3156/local-logs/container.log 
NNdout????:64 bytes from 14.215.177.38: seq=816 ttl=55 time=5.320 ms
NNdout?μ???:64 bytes from 14.215.177.38: seq=817 ttl=55 time=4.950 ms

注意事項: 經過測驗,當我們產生了100 MB 大小的日志時 會有 四個壓縮檔案和一個 container.log

[root@localhost local-logs]# ls -l
total 32544
-rw-r-----. 1 root root 18339944 May 16 09:41 container.log
-rw-r-----. 1 root root  3698660 May 16 09:41 container.log.1.gz
-rw-r-----. 1 root root  3726315 May 16 09:41 container.log.2.gz
-rw-r-----. 1 root root  3805668 May 16 09:41 container.log.3.gz
-rw-r-----. 1 root root  3744104 May 16 09:41 container.log.4.gz

那么當超過了 100MB 的日志檔案,日志檔案會繼續寫入到 container.log,但是會將 container.log 日志中老的日志洗掉,追加新的,也就是 當寫滿 100MB 日志后 ,再產生一條新日志,會洗掉 container.log 中的一條老日志,保存 100MB 的大小,這個 對我們是會有一些影響的,

當我運行系統時 第一天由于bug產生了 100MB 日志,那么之前的日志就已經有 80MB 日志變成的壓縮包,所以我在后續的運行中,只能獲取最近的 20MB日志,

日志驅動 二、 默認的日志驅動—JSON

所有容器默認的日志驅動 json-file

json-file 日志驅動 記錄從容器的 STOUT/STDERR 的輸出 ,用 JSON 的格式寫到檔案中,日志中不僅包含著 輸出日志,還有時間戳和 輸出格式,下面是一個 ping www.baidu.com 對應的 JSON 日志

{"log":"64 bytes from 14.215.177.39: seq=34 ttl=55 time=7.067 ms\r\n","stream":"stdout","time":"2019-05-16T14:14:15.030612567Z"}

json-file 日志的路徑位于 /var/lib/docker/containers/container_id/container_id-json.log

json-file 的 日志驅動支持以下選項:

| 選項        | 描述                                                         | 示例值                                   |
| :---------- | :----------------------------------------------------------- | :--------------------------------------- |
| `max-size`  | 切割之前日志的最大大小,可取值單位為(k,m,g), 默認為-1(表示無限制), | `--log-opt max-size=10m`                 |
| `max-file`  | 可以存在的最大日志檔案數,如果切割日志會創建超過閾值的檔案數,則會洗掉最舊的檔案,**僅在max-size設定時有效,**正整數,默認為1, | `--log-opt max-file=3`                   |
| `labels`    | 適用于啟動Docker守護程式時,此守護程式接受的以逗號分隔的與日志記錄相關的標簽串列, | `--log-opt labels=production_status,geo` |
| `env`       | 適用于啟動Docker守護程式時,此守護程式接受的以逗號分隔的與日志記錄相關的環境變數串列, | `--log-opt env=os,customer`              |
| `env-regex` | 類似于并兼容`env`,用于匹配與日志記錄相關的環境變數的正則運算式, | `--log-opt env-regex=^(os|customer).`    |
| `compress`  | 切割的日志是否進行壓縮,默認是`disabled`,                   | `--log-opt compress=true`                |

json-file 的日志驅動示例

# 設定 日志驅動為 json-file ,我們也可以不設定,因為默認就是 json-file
docker run  -itd  --name  test-log-json  --log-driver json-file   alpine  ping www.baidu.com
199608b2e2c52136d2a17e539e9ef7fbacf97f1293678aded421dadbdb006a5e

# 查看日志,日志名稱就是 容器名稱-json.log
tail -f /var/lib/docker/containers/199608b2e2c52136d2a17e539e9ef7fbacf97f1293678aded421dadbdb006a5e/199608b2e2c52136d2a17e539e9ef7fbacf97f1293678aded421dadbdb006a5e-json.log

{"log":"64 bytes from 14.215.177.39: seq=13 ttl=55 time=15.023 ms\r\n","stream":"stdout","time":"2019-05-16T14:13:54.003118877Z"}
{"log":"64 bytes from 14.215.177.39: seq=14 ttl=55 time=9.640 ms\r\n","stream":"stdout","time":"2019-05-16T14:13:54.999011017Z"}
{"log":"64 bytes from 14.215.177.39: seq=15 ttl=55 time=8.938 ms\r\n","stream":"stdout","time":"2019-05-16T14:13:55.998612636Z"}
{"log":"64 bytes from 14.215.177.39: seq=16 ttl=55 time=18.086 ms\r\n","stream":"stdout","time":"2019-05-16T14:13:57.011235913Z"}
{"log":"64 bytes from 14.215.177.39: seq=17 ttl=55 time=12.615 ms\r\n","stream":"stdout","time":"2019-05-16T14:13:58.007104112Z"}
{"log":"64 bytes from 14.215.177.39: seq=18 ttl=55 time=11.001 ms\r\n","stream":"stdout","time":"2019-05-16T14:13:59.007559413Z"}

日志驅動 三、syslog

syslog 日志驅動將日志路由到 syslog 服務器,syslog 以原始的字串作為 日志訊息元資料,接收方可以提取以下的訊息:

  • level 日志等級 ,如debugwarningerrorinfo
  • timestamp 時間戳
  • hostname 事件發生的主機
  • facillty 系統模塊
  • 行程名稱和行程 ID

syslog 日志驅動全域配置

編輯 /etc/docker/daemon.json 檔案

{
  "log-driver": "syslog",
  "log-opts": {
    "syslog-address": "udp://1.2.3.4:1111"
  }
}

重啟 docker 即可生效,

| Option                   | Description                                                  | Example value                                                |
| :----------------------- | :----------------------------------------------------------- | :----------------------------------------------------------- |
| `syslog-address`         | 指定syslog 服務所在的服務器和使用的協議和埠, 格式:`[tcp|udp|tcp+tls]://host:port,unix://path, orunixgram://path`. 默認埠是 514. | `--log-opt syslog-address=tcp+tls://192.168.1.3:514`, `--log-opt syslog-address=unix:///tmp/syslog.sock` |
| `syslog-facility`        | 使用的 `syslog` 的設備,  具體設備名稱見 [syslog documentation](https://tools.ietf.org/html/rfc5424#section-6.2.1). | `--log-opt syslog-facility=daemon`                           |
| `syslog-tls-ca-cert`     | 如果使用的是 `tcp+tls` 的地址,指定CA 證書的地址,如果沒有使用,則不設定該選項, | `--log-opt syslog-tls-ca-cert=/etc/ca-certificates/custom/ca.pem` |
| `syslog-tls-cert`        | 如果使用的是 `tcp+tls` 的地址,指定 TLS 證書的地址,如果沒有使用,則不設定該選項, | `--log-opt syslog-tls-cert=/etc/ca-certificates/custom/cert.pem` |
| `syslog-tls-key`         | 如果使用的是 `tcp+tls` 的地址,指定 TLS 證書 key的地址,如果沒有使用,則不設定該選項,** | `--log-opt syslog-tls-key=/etc/ca-certificates/custom/key.pem` |
| `syslog-tls-skip-verify` | 如果設定為 true ,會跳過 TLS 驗證,默認為 false              | `--log-opt syslog-tls-skip-verify=true`                      |
| `tag`                    | 將應用程式的名稱附加到 `syslog` 訊息中,默認情況下使用容器ID的前12位去 標記這個日志資訊, | `--log-opt tag=mailer`                                       |
| `syslog-format`          | `syslog` 使用的訊息格式 如果未指定則使用本地 UNIX syslog 格式,rfc5424micro 格式具有微妙時間戳, | `--log-opt syslog-format=rfc5424micro`                       |
| `labels`                 | 啟動 docker 時,配置與日志相關的標簽,以逗號分割             | `--log-opt labels=production_status,geo`                     |
| `env`                    | 啟動 docker 時,指定環境變數用于日志中,以逗號分隔           | `--log-opt env=os,customer`                                  |
| `env-regex`              | 類似并兼容 `env`,                                           | `--log-opt env-regex=^(os\|customer)`                        |

**單個容器日志驅動設定為—syslog **

Linux 系統中 我們用的系統日志模塊時 rsyslog ,它是基于syslog 的標準實作,我們要使用 syslog 驅動需要使用 系統自帶的 rsyslog 服務,

# 查看當前 rsyslog 版本和基本資訊
[root@localhost harbor]# rsyslogd  -v
rsyslogd 8.24.0, compiled with:
	PLATFORM:				x86_64-redhat-linux-gnu
	PLATFORM (lsb_release -d):		
	FEATURE_REGEXP:				Yes
	GSSAPI Kerberos 5 support:		Yes
	FEATURE_DEBUG (debug build, slow code):	No
	32bit Atomic operations supported:	Yes
	64bit Atomic operations supported:	Yes
	memory allocator:			system default
	Runtime Instrumentation (slow code):	No
	uuid support:				Yes
	Number of Bits in RainerScript integers: 64

See http://www.rsyslog.com for more information.

配置 syslog , 在組態檔 /etc/rsyslog.conf 大約14-20行,我們可以看到兩個配置,一個udp,一個tcp ,都是監聽 514 埠,提供 syslog 的接收,選擇 tcp 就將 tcp 的兩個配置的前面 # 號注釋即可,

# Provides UDP syslog reception
#$ModLoad imudp
#$UDPServerRun 514

# Provides TCP syslog reception
#$ModLoad imtcp  
#$InputTCPServerRun 514

然后重啟 rsyslog,我們可以看到514埠在監聽,

systemctl restart  rsyslog
[root@localhost harbor]# netstat -ntul |grep 514
tcp        0      0 0.0.0.0:514             0.0.0.0:*               LISTEN     
tcp6       0      0 :::514                  :::*                    LISTEN  

啟動一個以 syslog 為驅動的容器,

docker  run -d -it  -p 87:80 --log-driver syslog --log-opt syslog-address=tcp://127.0.0.1:514  --name nginx-syslog   nginx

訪問并查看日志

# 訪問nginx
curl 127.0.0.1:87
# 查看訪問日志
tail -f  /var/log/messages
May 17 15:56:48 localhost fe18924aefde[6141]: 172.17.0.1 - - [17/May/2019:07:56:48 +0000] "GET / HTTP/1.1" 200 612 "-" "curl/7.29.0" "-"#015
May 17 15:58:16 localhost fe18924aefde[6141]: 172.17.0.1 - - [17/May/2019:07:58:16 +0000] "GET / HTTP/1.1" 200 612 "-" "curl/7.29.0" "-"#015

日志驅動 四、Journald

journald 日志驅動程式將容器的日志發送到 systemd journal, 可以使用 journal API 或者使用 docker logs 來查日志,

除了日志本身以外, `journald`  日志驅動還會在日志加上下面的資料與訊息一起儲存,

| Field                                | Description                                                  |
| :----------------------------------- | :----------------------------------------------------------- |
| `CONTAINER_ID`                       | 容器ID,為 12個字符                                           |
| `CONTAINER_ID_FULL`                  | 完整的容器ID,為64個字符                                     |
| `CONTAINER_NAME`                     | 啟動時容器的名稱,如果容器后面更改了名稱,日志中的名稱不會更改, |
| `CONTAINER_TAG`, `SYSLOG_IDENTIFIER` | 容器的tag.                                                   |
| `CONTAINER_PARTIAL_MESSAGE`          | 當日志比較長的時候使用標記來表示(顯示日志的大小)             |

選項

| 選項        | 是否必須 | 描述                                                         |
| :---------- | :------- | :----------------------------------------------------------- |
| `tag`       | 可選的   | 指定要在日志中設定`CONTAINER_TAG`和`SYSLOG_IDENTIFIER`值的模板, |
| `labels`    | 可選的   | 以逗號分隔的標簽串列,如果為容器指定了這些標簽,則應包含在訊息中, |
| `env`       | 可選的   | 如果為容器指定了這些變數,則以逗號分隔的環境變數鍵串列(應包含在訊息中), |
| `env-regex` | 可選的   | 與env類似并兼容,用于匹配與日志記錄相關的環境變數的正則運算式 , |

journald 日志驅動全域配置

編輯 /etc/docker/daemon.json 檔案

{
  "log-driver": "journald"
}

單個容器日志驅動設定為—journald

docker  run  -d -it --log-driver=journald \
    --log-opt labels=location \
    --log-opt env=TEST \
    --env "TEST=false" \
    --label location=china \
    --name  nginx-journald\
    -p 80:80\
    nginx

查看日志 journalctl

# 只查詢指定容器的相關訊息
 journalctl CONTAINER_NAME=webserver
# -b 指定從上次啟動以來的所有訊息
 journalctl -b CONTAINER_NAME=webserver
# -o 指定日志訊息格式,-o json 表示以json 格式回傳日志訊息
 journalctl -o json CONTAINER_NAME=webserver
# -f 一直捕獲日志輸出
 journalctl -f CONTAINER_NAME=webserver

如果我們的容器在啟動的時候加了 -t 引數,啟用了 TTY 的話,那么我查看日志是會像下面一樣

May 17 17:19:26 localhost.localdomain 2a338e4631fe[6141]: [104B blob data]
May 17 17:19:32 localhost.localdomain 2a338e4631fe[6141]: [104B blob data]

顯示[104B blob data] 而不是完整日志原因是因為有 \r 的存在,如果我們要完整顯示,需要加上引數 --all

三、 生產環境中該如何儲存容器中的日志

我們在上面看到了 Docker 官方提供了 很多日志驅動,但是上面的這些驅動都是針對的 標準輸出的日志驅動,

容器日志分類

容器的日志實際是有兩大類的:

  • 標準輸出的 ,也就是 STDOUT 、STDERR ,這類日志我們可以通過 Docker 官方的日志驅動進行收集,

示例:Nginx 日志,Nginx 日志有 access.logerror.log ,我們在 Docker Hub 上可以看到 Nginx 的 dockerfile 對于這兩個日志的處理是:

RUN ln -sf /dev/stdout /var/log/nginx/access.log \
	&& ln -sf /dev/stderr /var/log/nginx/error.log

都軟連接到 /dev/stdout/dev/stderr ,也就是標準輸出,所以這類 容器是可以使用 Docker 官方的日志驅動,

  • 文本日志,存在在于容器內部,并沒有重定向到 容器的標準輸出的日志,

    示例: Tomcat 日志,Tomcat 有 catalina、localhost、manager、admin、host-manager,我們可以在 Docker Hub 看到 Tomcat 的 dockerfile 只有對于 catalina 進行處理,其它日志將儲存在容器里,

    CMD ["catalina.sh", "run"]
    

    我們運行了一個 Tomcat 容器 ,然后進行訪問后,并登陸到容器內部,我們可以看到產生了文本日志:

    root@25ba00fdab97:/usr/local/tomcat/logs# ls -l
    total 16
    -rw-r-----. 1 root root 6822 May 17 14:36 catalina.2019-05-17.log
    -rw-r-----. 1 root root    0 May 17 14:36 host-manager.2019-05-17.log
    -rw-r-----. 1 root root  459 May 17 14:36 localhost.2019-05-17.log
    -rw-r-----. 1 root root 1017 May 17 14:37 localhost_access_log.2019-05-17.txt
    -rw-r-----. 1 root root    0 May 17 14:36 manager.2019-05-17.log
    

    這類容器我們下面有專門的方案來應對,

一、當是完全是標準輸出的型別的容器

我們可以選擇 json-file 、syslog、local 等 Docker 支持的日志驅動,

二、當有檔案文本日志的型別容器

方案一 掛載目錄 bind

創建一個目錄,將目錄掛載到 容器中產生日志的目錄,

--mount  type=bind,src=https://www.cnblogs.com/opt/logs/,dst=/usr/local/tomcat/logs/ 

示例:

# 創建掛載目錄/opt/logs
[root@fy-local-2 /]# mkdir  /opt/logs
# 創建容器tomcat-bind 并將 /opt/logs 掛載至 /usr/local/tomcat/logs/
[root@fy-local-2 /]# docker  run -d  --name  tomcat-bind  -P  --mount  type=bind,src=https://www.cnblogs.com/opt/logs/,dst=/usr/local/tomcat/logs/   tomcat 
[root@fy-local-2 /]# ls -l /opt/logs/
total 12
-rw-r----- 1 root root 6820 May 22 17:31 catalina.2019-05-22.log
-rw-r----- 1 root root    0 May 22 17:31 host-manager.2019-05-22.log
-rw-r----- 1 root root  459 May 22 17:31 localhost.2019-05-22.log
-rw-r----- 1 root root    0 May 22 17:31 localhost_access_log.2019-05-22.txt
-rw-r----- 1 root root    0 May 22 17:31 manager.2019-05-22.log

方案二 使用資料卷 volume

創建資料卷,創建容器時系結資料卷,

--mount  type=volume  src=https://www.cnblogs.com/xwgblog/p/volume_name  dst=/usr/local/tomcat/logs/ 

示例:

# 創建tomcat應用資料卷名稱為 tomcat
[root@fy-local-2 /]# docker volume  create  tomcat
# 創建容器tomcat-volume 并指定資料卷為 tomcat,系結至 /usr/local/tomcat/logs/
[root@fy-local-2 /]# docker  run -d  --name  tomcat-volume   -P  --mount  type=volume,src=https://www.cnblogs.com/xwgblog/p/tomcat,dst=/usr/local/tomcat/logs/   tomcat
# 查看資料卷里面的內容
[root@fy-local-2 /]# ls -l /var/lib/docker/volumes/tomcat/_data/
total 12
-rw-r----- 1 root root 6820 May 22 17:33 catalina.2019-05-22.log
-rw-r----- 1 root root    0 May 22 17:33 host-manager.2019-05-22.log
-rw-r----- 1 root root  459 May 22 17:33 localhost.2019-05-22.log
-rw-r----- 1 root root    0 May 22 17:33 localhost_access_log.2019-05-22.txt
-rw-r----- 1 root root    0 May 22 17:33 manager.2019-05-22.log

方案三 計算容器 rootfs 掛載點

此方案的文字內容摘抄于 https://yq.aliyun.com/articles/672054

使用掛載宿主機目錄的方式采集日志對應用會有一定的侵入性,因為它要求容器啟動的時候包含掛載命令,如果采集程序能對用戶透明那就太棒了,事實上,可以通過計算容器 rootfs 掛載點來達到這種目的,

和容器 rootfs 掛載點密不可分的一個概念是 storage driver,實際使用程序中,用戶往往會根據 linux 版本、檔案系統型別、容器讀寫情況等因素選擇合適的 storage driver,不同 storage driver 下,容器的 rootfs 掛載點遵循一定規律,因此我們可以根據 storage driver 的型別推斷出容器的 rootfs 掛載點,進而采集容器內部日志,下表展示了部分 storage dirver 的 rootfs 掛載點及其計算方法,

| Storage driver | rootfs 掛載點                                | 計算方法                                                     |
| :------------- | :------------------------------------------- | :----------------------------------------------------------- |
| aufs           | /var/lib/docker/aufs/mnt/<id>                | id 可以從如下檔案讀到, `/var/lib/docker/image/aufs/layerdb/mounts/<container-id>/mount-id` |
| overlay        | /var/lib/docker/overlay/<id>/merged          | 完整路徑可以通過如下命令得到, `docker inspect -f '{{.GraphDriver.Data.MergedDir}}' <container-id>` |
| overlay2       | /var/lib/docker/overlay2/<id>/merged         | 完整路徑可以通過如下命令得到, `docker inspect -f '{{.GraphDriver.Data.MergedDir}}' <container-id>` |
| devicemapper   | /var/lib/docker/devicemapper/mnt/<id>/rootfs | id 可以通過如下命令得到, `docker inspect -f '{{.GraphDriver.Data.DeviceName}}' <container-id>` |

示例:

# 創建容器 tomcat-test
[root@fy-local-2 /]# docker  run -d  --name  tomcat-test  -P  tomcat
36510dd653ae7dcac1d017174b1c38b3f9a226f9c4e329d0ff656cfe041939ff  
# 查看tomcat-test 容器的 掛載點位置
[root@fy-local-2 /]# docker inspect -f '{{.GraphDriver.Data.MergedDir}}' 36510dd653ae7dcac1d017174b1c38b3f9a226f9c4e329d0ff656cfe041939ff  
/var/lib/docker/overlay2/c10ec54bab8f3fccd2c5f1a305df6f3b1e53068776363ab0c104d253216b799d/merged
# 查看掛載點的目錄結構
[root@fy-local-2 /]# ls -l /var/lib/docker/overlay2/c10ec54bab8f3fccd2c5f1a305df6f3b1e53068776363ab0c104d253216b799d/merged
total 4
drwxr-xr-x 1 root root  179 May  8 13:05 bin
drwxr-xr-x 2 root root    6 Mar 28 17:12 boot
drwxr-xr-x 1 root root   43 May 22 17:27 dev
lrwxrwxrwx 1 root root   33 May  8 13:08 docker-java-home -> /usr/lib/jvm/java-8-openjdk-amd64
drwxr-xr-x 1 root root   66 May 22 17:27 etc
drwxr-xr-x 2 root root    6 Mar 28 17:12 home
drwxr-xr-x 1 root root    6 May 16 08:50 lib
drwxr-xr-x 2 root root   34 May  6 08:00 lib64
drwxr-xr-x 2 root root    6 May  6 08:00 media
drwxr-xr-x 2 root root    6 May  6 08:00 mnt
drwxr-xr-x 2 root root    6 May  6 08:00 opt
drwxr-xr-x 2 root root    6 Mar 28 17:12 proc
drwx------ 1 root root   27 May 22 17:29 root
drwxr-xr-x 3 root root   30 May  6 08:00 run
drwxr-xr-x 2 root root 4096 May  6 08:00 sbin
drwxr-xr-x 2 root root    6 May  6 08:00 srv
drwxr-xr-x 2 root root    6 Mar 28 17:12 sys
drwxrwxrwt 1 root root   29 May 16 08:50 tmp
drwxr-xr-x 1 root root   19 May  6 08:00 usr
drwxr-xr-x 1 root root   41 May  6 08:00 var
# 查看日志
[root@fy-local-2 /]# ls -l /var/lib/docker/overlay2/c10ec54bab8f3fccd2c5f1a305df6f3b1e53068776363ab0c104d253216b799d/merged/usr/local/tomcat/logs/
total 20
-rw-r----- 1 root root 14514 May 22 17:40 catalina.2019-05-22.log
-rw-r----- 1 root root     0 May 22 17:27 host-manager.2019-05-22.log
-rw-r----- 1 root root  1194 May 22 17:40 localhost.2019-05-22.log
-rw-r----- 1 root root     0 May 22 17:27 localhost_access_log.2019-05-22.txt
-rw-r----- 1 root root     0 May 22 17:27 manager.2019-05-22.log

方案四 在代碼層中實作直接將日志寫入redis

docker ——》redis ——》Logstash——》Elasticsearch

通過代碼層面,直接將日志寫入redis,最后寫入 Elasticsearch

以上就是對 Docker 日志的所有的概念解釋和方提供,具體采用什么方案,根據公司的具體的業務來選擇,合適的才是最好的,

作者:自由早晚亂余生自由早晚亂余生
博客園:https://www.cnblogs.com/operationhome/p/10907591.html

推薦文章

  • 詳解:如何設計出健壯的秒殺系統?
  • Spring Boot 構建多租戶 SaaS 平臺核心技術指南
  • Saas 系統架構經驗總結
  • 百萬級商品資料實時同步,查詢結果秒出
  • 詳解阿里資料中臺架構

學習資料分享

12 套 微服務、Spring Boot、Spring Cloud 核心技術資料,這是部分資料目錄:

  • Spring Security 認證與授權
  • Spring Boot 專案實戰(中小型互聯網公司后臺服務架構與運維架構)
  • Spring Boot 專案實戰(企業權限管理專案))
  • Spring Cloud 微服務架構專案實戰(分布式事務解決方案)
  • ...

公眾號后臺回復arch028獲取資料::

轉載請註明出處,本文鏈接:https://www.uj5u.com/ruanti/5984.html

標籤:架構設計

上一篇:實作介面冪等性的幾種方案

下一篇:微服務實戰——高可用的SpringCloudConfig

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • 面試突擊第一季,第二季,第三季

    第一季必考 https://www.bilibili.com/video/BV1FE411y79Y?from=search&seid=15921726601957489746 第二季分布式 https://www.bilibili.com/video/BV13f4y127ee/?spm_id_fro ......

    uj5u.com 2020-09-10 05:35:24 more
  • 第三單元作業總結

    1.前言 這應該是本學期最后一次寫作業總結了吧。總體來說,對作業的節奏也差不多掌握了,作業做起來的效率也更高了。雖然和之前的作業一樣,作業中都要用到新的知識,但是相比之前,更加懂得了如何利用工具以及資料。雖然之間卡過殼,但總體而言,這幾次作業還算完成的比較好。 2.作業程序總結 相比前兩個單元,此單 ......

    uj5u.com 2020-09-10 05:35:41 more
  • 北航OO(2020)第四單元博客作業暨課程總結博客

    北航OO(2020)第四單元博客作業暨課程總結博客 本單元作業的架構設計 在本單元中,由于UML圖具有比較清晰的樹形結構,因此我對其中需要進行查詢操作的元素進行了包裝,在樹的父節點中存盤所有孩子的參考。考慮到性能問題,我采用了快取機制,一次查詢后盡可能快取已經遍歷過的資訊,以減少遍歷次數。 本單元我 ......

    uj5u.com 2020-09-10 05:35:48 more
  • BUAA_OO_第四單元

    一、UML決議器設計 ? 先看下題目:第四單元實作一個基于JDK 8帶有效性檢查的UML(Unified Modeling Language)類圖,順序圖,狀態圖分析器 MyUmlInteraction,實際上我們要建立一個有向圖模型,UML中的物件(元素)可能與同級元素連接,也可與低級元素相連形成 ......

    uj5u.com 2020-09-10 05:35:54 more
  • 6.1邏輯運算子

    邏輯運算子 1. && 短路與 運算式1 && 運算式2 01.運算式1為true并且運算式2也為true 整體回傳為true 02.運算式1為false,將不會執行運算式2 整體回傳為false 03.只要有一個運算式為false 整體回傳為false 2. || 短路或 運算式1 || 運算式2 ......

    uj5u.com 2020-09-10 05:35:56 more
  • BUAAOO 第四單元 & 課程總結

    1. 第四單元:StarUml檔案決議 本單元采用了圖模型決議UML。 UML檔案可以抽象為圖、子圖、邊的邏輯結構。 在實作中,圖的節點包括類、介面、屬性,子圖包括狀態圖、順序圖等。 采用了三次遍歷UML元素的方法建圖,第一遍遍歷建點,第二、三次遍歷設定屬性、連邊,實作圖物件的初始化。這里借鑒了一些 ......

    uj5u.com 2020-09-10 05:36:06 more
  • 談談我對C# 多型的理解

    面向物件三要素:封裝、繼承、多型。 封裝和繼承,這兩個比較好理解,但要理解多型的話,可就稍微有點難度了。今天,我們就來講講多型的理解。 我們應該經常會看到面試題目:請談談對多型的理解。 其實呢,多型非常簡單,就一句話:呼叫同一種方法產生了不同的結果。 具體實作方式有三種。 一、多載 多載很簡單。 p ......

    uj5u.com 2020-09-10 05:36:09 more
  • Python 資料驅動工具:DDT

    背景 python 的unittest 沒有自帶資料驅動功能。 所以如果使用unittest,同時又想使用資料驅動,那么就可以使用DDT來完成。 DDT是 “Data-Driven Tests”的縮寫。 資料:http://ddt.readthedocs.io/en/latest/ 使用方法 dd. ......

    uj5u.com 2020-09-10 05:36:13 more
  • Python里面的xlrd模塊詳解

    那我就一下面積個問題對xlrd模塊進行學習一下: 1.什么是xlrd模塊? 2.為什么使用xlrd模塊? 3.怎樣使用xlrd模塊? 1.什么是xlrd模塊? ?python操作excel主要用到xlrd和xlwt這兩個庫,即xlrd是讀excel,xlwt是寫excel的庫。 今天就先來說一下xl ......

    uj5u.com 2020-09-10 05:36:28 more
  • 當我們創建HashMap時,底層到底做了什么?

    jdk1.7中的底層實作程序(底層基于陣列+鏈表) 在我們new HashMap()時,底層創建了默認長度為16的一維陣列Entry[ ] table。當我們呼叫map.put(key1,value1)方法向HashMap里添加資料的時候: 首先,呼叫key1所在類的hashCode()計算key1 ......

    uj5u.com 2020-09-10 05:36:38 more
最新发布
  • 【中介者設計模式詳解】C/Java/JS/Go/Python/TS不同語言實作

    * 中介者模式是一種行為型設計模式,它可以用來減少類之間的直接依賴關系,
    * 將物件之間的通信封裝到一個中介者物件中,從而使得各個物件之間的關系更加松散。
    * 在中介者模式中,物件之間不再直接相互互動,而是通過中介者來中轉訊息。 ......

    uj5u.com 2023-04-20 08:20:47 more
  • 露天煤礦現場調研和交流案例分享

    他們集團的資訊化公司及研究院在一個礦區正在做智能礦山的統一平臺的 試點,專案投資大概1億,包括了礦山的各方面的內容,顯示得我們這次交流有點多余。他們2年前開始做智能礦山的規劃,有很多煤礦行業專家的加持,他們的描述是非常完美,但是去年底應該上線的平臺,現在還沒有看到影子。他們確實有很多場景需求,但是被... ......

    uj5u.com 2023-04-20 08:20:25 more
  • 《社區人員管理》實戰案例設計&個人案例分享

    設計是一個讓人夢想成真程序,開始編碼、測驗、除錯之前進行需求分析和架構設計,才能保證關鍵方面都做正確 ......

    uj5u.com 2023-04-20 08:20:17 more
  • 軟體架構生態化-多角色交付的探索實踐

    作為一個技術架構師,不僅僅要緊跟行業技術趨勢,還要結合研發團隊現狀及痛點,探索新的交付方案。在日常中,你是否遇到如下問題 “ 業務需求排期長研發是瓶頸;非研發角色感受不到研發技改提效的變化;引入ISV 團隊又擔心質量和安全,培訓周期長“等等,基于此我們探索了一種新的技術體系及交付方案來解決如上問題。 ......

    uj5u.com 2023-04-20 08:20:10 more
  • 【中介者設計模式詳解】C/Java/JS/Go/Python/TS不同語言實作

    * 中介者模式是一種行為型設計模式,它可以用來減少類之間的直接依賴關系,
    * 將物件之間的通信封裝到一個中介者物件中,從而使得各個物件之間的關系更加松散。
    * 在中介者模式中,物件之間不再直接相互互動,而是通過中介者來中轉訊息。 ......

    uj5u.com 2023-04-20 08:19:44 more
  • 露天煤礦現場調研和交流案例分享

    他們集團的資訊化公司及研究院在一個礦區正在做智能礦山的統一平臺的 試點,專案投資大概1億,包括了礦山的各方面的內容,顯示得我們這次交流有點多余。他們2年前開始做智能礦山的規劃,有很多煤礦行業專家的加持,他們的描述是非常完美,但是去年底應該上線的平臺,現在還沒有看到影子。他們確實有很多場景需求,但是被... ......

    uj5u.com 2023-04-20 08:19:07 more
  • 《社區人員管理》實戰案例設計&個人案例分享

    設計是一個讓人夢想成真程序,開始編碼、測驗、除錯之前進行需求分析和架構設計,才能保證關鍵方面都做正確 ......

    uj5u.com 2023-04-20 08:18:57 more
  • 軟體架構生態化-多角色交付的探索實踐

    作為一個技術架構師,不僅僅要緊跟行業技術趨勢,還要結合研發團隊現狀及痛點,探索新的交付方案。在日常中,你是否遇到如下問題 “ 業務需求排期長研發是瓶頸;非研發角色感受不到研發技改提效的變化;引入ISV 團隊又擔心質量和安全,培訓周期長“等等,基于此我們探索了一種新的技術體系及交付方案來解決如上問題。 ......

    uj5u.com 2023-04-20 08:18:49 more
  • 05單件模式

    #經典的單件模式 public class Singleton { private static Singleton uniqueInstance; //一個靜態變數持有Singleton類的唯一實體。 // 其他有用的實體變數寫在這里 //構造器宣告為私有,只有Singleton可以實體化這個類! ......

    uj5u.com 2023-04-19 08:42:51 more
  • 【架構與設計】常見微服務分層架構的區別和落地實踐

    軟體工程的方方面面都遵循一個最基本的道理:沒有銀彈,架構分層模型更是如此,每一種都有各自優缺點,所以請根據不同的業務場景,并遵循簡單、可演進這兩個重要的架構原則選擇合適的架構分層模型即可。 ......

    uj5u.com 2023-04-19 08:42:41 more