【分布式鏈路追蹤】Skywalking分布式鏈路追蹤基于Docker安裝與使用

1. 服務監控三要素^[1]

服務監控需要滿足的三要素分別如下：

• 日志監控
• 指標監控
• 請求鏈路追蹤

服務監控只要能滿足這三個要素，基本就能實作我們想要的監控效果，

1.1.主流APM系統^[1:1]

APM 系統（Application Performance Management，即應用性能管理）是對企業的應用系統進行實時監控，實作對應用性能管理和故障定位的系統化解決方案，在運維中常用，

• CAT（開源）： 由國內美團點評開源的，基于 Java 語言開發，目前提供 Java、C/C++、Node.js、Python、Go 等語言的客戶端，監控資料會全量統計，國內很多公司在用，例如美團點評、攜程、拼多多等，CAT 需要開發人員手動在應用程式中埋點，對代碼侵入性比較強，
• Zipkin（開源）： 由 Twitter 公司開發并開源，Java 語言實作，侵入性相對于 CAT 要低一點，需要對web.xml 等相關組態檔進行修改，但依然對系統有一定的侵入性，Zipkin 可以輕松與 Spring Cloud 進行集成，也是 Spring Cloud 推薦的 APM 系統，
• Pinpoint（開源）： 韓國團隊開源的 APM 產品，運用了位元組碼增強技術，只需要在啟動時添加啟動引數即可實作 APM 功能，對代碼無侵入，目前支持 Java 和 PHP 語言，底層采用 HBase 來存盤資料，探針收集的資料粒度非常細，但性能損耗較大，因其出現的時間較長，完成度也很高，檔案也較為豐富，應用的公司較多，
• SkyWalking（開源）： 國人開源的產品，2019 年 4 月 17 日 SkyWalking 從 Apache 基金會的范訓器畢業成為頂級專案，目前 SkyWalking 支持 Java、.Net、Node.js 等探針，資料存盤支持MySQL、ElasticSearch等，
• 還有很多不開源的 APM 系統，例如，淘寶鷹眼、Google Dapper 等等，

2. SkyWalking^[2]

SkyWalking 是分布式系統的應用程式性能監視工具，專為微服務、云原生架構和基于容器（Docker、K8s、Mesos）架構而設計，

提供分布式追蹤、服務網格遙測分析、度量聚合和可視化一體化解決方案

2.1 功能串列

• 多種監控手段，可以通過語言探針和 service mesh 獲得監控是資料，
• 多個語言自動探針，包括 Java，.NET Core 和 Node.JS，
• 輕量高效，無需大資料平臺，和大量的服務器資源，
• 模塊化，UI、存盤、集群管理都有多種機制可選，
• 支持告警，
• 優秀的可視化解決方案，

2.2 整體架構

整個架構，分成上、下、左、右四部分：

• 上部分 Agent ：負責從應用中，收集鏈路資訊，發送給 SkyWalking OAP 服務器，目前支持 SkyWalking、Zikpin、Jaeger 等提供的 Tracing 資料資訊，而我們目前采用的是，SkyWalking Agent 收集 SkyWalking Tracing 資料，傳遞給服務器，
• 下部分 SkyWalking OAP ：負責接收 Agent 發送的 Tracing 資料資訊，然后進行分析(Analysis Core) ，存盤到外部存盤器( Storage )，最終提供查詢( Query )功能，
• 右部分 Storage ：Tracing 資料存盤，目前支持 ES、MySQL、Sharding Sphere、TiDB、H2 多種存盤器，而我們目前采用的是 ES ，主要考慮是 SkyWalking 開發團隊自己的生產環境采用 ES 為主，
• 左部分 SkyWalking UI ：負責提供控臺，查看鏈路等等，

2.3 搭建SkyWalking 單機環境

• 第一步，搭建一個 Elasticsearch 服務，
• 第二步，下載 SkyWalking 軟體包，
• 第三步，搭建一個 SkyWalking OAP 服務，
• 第四步，啟動一個 Spring Boot 應用，并配置 SkyWalking Agent，
• 第五步，搭建一個 SkyWalking UI 服務，

環境說明

作業系統：Centos 7.6

Docker：20.10.18

Skywalking OAP：8.9.1

Skywalking UI：8.9.1

Skywalking Agent：8.14

Elasticsearch：7.1.1

下載鏡像

docker pull docker.io/elasticsearch:7.1.1
docker pull apache/skywalking-ui:8.9.1
docker pull apache/skywalking-oap-server:8.9.1

說明：Skywalking 8.9.1是 Skywalking 8 的最后一個版本，并且修復了Log4j的JNDI注入漏洞CVE-2021-44228

下載鏡像時如提示 command not found ，請先去安裝docker

下載Java Agent原始碼包，后續在專案中會用到

https://archive.apache.org/dist/skywalking/java-agent/8.14.0/apache-skywalking-java-agent-8.14.0.tgz

安裝Elasticsearch

先運行es容器

docker run -d --name=es  --restart=always  -p 9200:9200 -p 9300:9300  -e "discovery.type=single-node"  -e ES_JAVA_OPTS="-Xms2048m -Xmx2048m" b0e9f9f047e6

可根據自己的情況修改 ES_JAVA_OPTS 的值

創建持久化檔案

mkdir -p /home/elasticsearch/

復制容器內的檔案

docker cp es:/usr/share/elasticsearch/data /home/elasticsearch/
docker cp es:/usr/share/elasticsearch/logs /home/elasticsearch/

洗掉es容器

docker rm -f es

以掛載模式運行

docker run -d --name=es  --restart=always  -p 9200:9200 -p 9300:9300  -e "discovery.type=single-node" -v /home/elasticsearch/data:/usr/share/elasticsearch/data  -v /home/elasticsearch/logs:/usr/share/elasticsearch/logs -e ES_JAVA_OPTS="-Xms2048m -Xmx2048m" b0e9f9f047e6

使用 docker logs -f es 查看啟動日志，當看到下面的內容時說明啟動成功

"publish_address {172.17.0.2:9300}, bound_addresses {0.0.0.0:9300}"

或者訪問 http://ip:9200 時出現下面內容也說明啟動成功

{
  "name" : "a1c4bc953b44",
  "cluster_name" : "docker-cluster",
  "cluster_uuid" : "sjssODkzTTy0bTrTEqlZfQ",
  "version" : {
    "number" : "7.1.1",
    "build_flavor" : "default",
    "build_type" : "docker",
    "build_hash" : "7a013de",
    "build_date" : "2019-05-23T14:04:00.380842Z",
    "build_snapshot" : false,
    "lucene_version" : "8.0.0",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}

進入容器內安裝ik分詞器

 ./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.1.1/elasticsearch-analysis-ik-7.1.1.zip

Elasticsearch設定密碼訪問^[3]

進入容器

docker exec -it es /bin/bash

修改組態檔

vi config/elasticsearch.yml

在檔案尾部添加如下內容

# 開啟跨域訪問 允許外部連接
http.cors.enabled: true
http.cors.allow-origin: "*"
# 開啟密碼驗證
xpack.security.enabled: true
xpack.license.self_generated.type: basic
xpack.security.transport.ssl.enabled: true

重啟ES容器后再進入容器內，執行如下命令

./elasticsearch-setup-passwords interactive

然后輸入你想設定的密碼，我這里密碼設定為 yourpassword 方便后續演示

接下來就是會默認的創建6個用戶，并讓你設定這6個用戶的密碼，忽略掉用戶名，這些用戶權限都是相同的，設定完成以后，這時候再訪問es的地址，就會提示需要授權輸入賬號密碼訪問了

安裝 Skywalking OAP^[4]

等待elasticsearch完全啟動完后，再啟動oap

docker run --name oap-8.9.1 -d --restart=always -e TZ=Asia/Shanghai -p 12800:12800 -p 11800:11800 --link es:es -e SW_STORAGE=elasticsearch -e SW_STORAGE_ES_CLUSTER_NODES=es:9200 -e SW_ES_USER=elastic -e SW_ES_PASSWORD=yourpassword apache/skywalking-oap-server:8.9.1

這里指定了ES存盤資料，并輸入ES授權的賬戶密碼

安裝 Skywalking UI

docker run -d --name skywalking-ui-8.9.1 --restart=always -e TZ=Asia/Shanghai -p 8088:8080 --link oap-8.9.1:oap -e SW_OAP_ADDRESS=http://oap:12800 apache/skywalking-ui:8.9.1

這里映射的埠為8088，防止埠沖突，也可根據你的情況設定

命令中 oap-8.9.1:oap 的 oap-8.9.1 是已運行并需要連接的容器名，oap是取的別名，后續容器內請求 http://oap/ 便會請求到 oap-8.9.1 容器內，并且別名不能有 . 的出現，防止地址決議失敗

啟動完成后請求 http://ip:8088/

因為懶加載機制，當有請求時才會有資料顯示，當第一次訪問時會沒有資料

2.4 專案集成Skywalking

將上面下載到的 Java Agent 拷貝到專案能訪問到的地址，增加JVM的啟動引數

-javaagent:D:\tools\skywalking-agent-8.14\skywalking-agent.jar
-Dskywalking.agent.service_name=xxx-server
-Dskywalking.collector.backend_service=ip:11800
-Dskywalking.plugin.jdbc.trace_sql_parameters=true

trace_sql_parameters 引數為true時會收集sql陳述句的占位引數

更多詳細引數請參考^[5]

IDEA中啟動專案

命令啟動專案

如使用命令啟動，在java -jar xxx.jar 中增加命令

java -jar -javaagent:D:\tools\skywalking-agent-8.14\skywalking-agent.jar -Dskywalking.agent.service_name=xxx-server -Dskywalking.collector.backend_service=ip:11800 -Dskywalking.plugin.jdbc.trace_sql_parameters=true xxx.jar

Docker 啟動專案^[6]

我們構建java運行的jdk基礎鏡像時，加入skywalking agent

Dockerfile:

# FROM openjdk:8-jdk-alpine
FROM adoptopenjdk/openjdk8
VOLUME /tmp
# 其他的一些運行引數可以放這里，比如-Xmx1024m 
ENV JAVA_OPTS=""
ENV SKYWALKING_AGENT_SERVICE_NAME="xxx-server"
ENV SKYWALKING_COLLECTOR_BACKEND_SERVICE="ip:1088"
ENV SKYWALKING_PLUGIN_JDBC_TRACE_SQL_PARAMETERS="true"
COPY /etc/localtime /etc/localtime
# 這里是agent的檔案夾，按照自己的情況設定
COPY /opt/skywalking-agent-8.14 /usr/local/agent
RUN echo "Asia/Shanghai" > /etc/timezone
ONBUILD COPY app.jar app.jar
ENTRYPOINT [ "java", "-jar", " $JAVA_OPTS -javaagent:/usr/local/agent/skywalking-agent.jar -Dskywalking.agent.service_name=$SKYWALKING_AGENT_SERVICE_NAME -Dskywalking.collector.backend_service=$SKYWALKING_COLLECTOR_BACKEND_SERVICE -Dskywalking.collector.backend_service=$SKYWALKING_COLLECTOR_BACKEND_SERVICE -Dskywalking.plugin.jdbc.trace_sql_parameters=$SKYWALKING_PLUGIN_JDBC_TRACE_SQL_PARAMETERS app.jar" ]

然后在Dockerfile所在目錄通過docker build -t 鏡像名 構建好鏡像即可運行

2.5 專案日志收集

logback日志收集^[7]

<!-- 如果想在專案代碼中獲取鏈路TraceId，則需要引入此依賴 -->
        <dependency>
            <groupId>org.apache.skywalking</groupId>
            <artifactId>apm-toolkit-trace</artifactId>
            <version>8.14.0</version>
        </dependency>
<!-- skywalking logback插件 -->
        <dependency>
            <groupId>org.apache.skywalking</groupId>
            <artifactId>apm-toolkit-logback-1.x</artifactId>
            <version>8.14.0</version>
        </dependency>

撰寫logback日志組態檔，在resources下新建一個logback-spring.xml檔案，根據官網檔案撰寫組態檔，可以寫作以下兩種，
兩者的區別就是layout中是采用TraceIdPatternLogbackLayout還是TraceIdMDCPatternLogbackLayout，如果采用TraceIdMDCPatternLogbackLayout，需要將[%tid]改為[%X{tid}]

    <!-- 是指列印到控制臺 -->
    <appender name="STDOUT" >
        <encoder >
            <layout >
                <Pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%tid] [%thread] %-5level %logger{36} -%msg%n</Pattern>
            </layout>
        </encoder>
    </appender>

	<!-- with the MDC, set %X{tid} in Pattern -->
	<!-- MDC是什么：MDC采用Map的方式存盤背景關系，執行緒獨立的，子執行緒會從父執行緒拷貝背景關系 -->
    <appender name="GRPC" >
        <encoder >
            <layout >
                <Pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%X{tid}] [%thread] %-5level %logger{36} -%msg%n</Pattern>
            </layout>
        </encoder>
    </appender>
	<root level="INFO">
        <appender-ref ref="STDOUT"/>
        <appender-ref ref="GRPC"/>
    </root>

其他日志框架的引入詳見官網

參考鏈接

標籤：Java

上一篇：Dubbo 入門系列之基于 Dubbo API 開發微服務應用

下一篇：Java里面為什么搞了雙重檢查鎖，寫完這篇文章終于真相大白了