springboot集合efk搭建日志平臺-有解無憂

springboot繼承efk實作日志收集

1.安裝es和kibana

我使用的云服務器centos7,2核+4G記憶體,跑起來記憶體使用率50%左右

建議使用最低配置和我一樣,1+2的配置kibana應該跑不起來,安裝程序使用了尚硅谷的springcloud的課程資料,也!!!!!!!!可以不用,自己pull,我附了pull的方法

資料包:鏈接：https://pan.baidu.com/s/1GW1qUUwya6mUAacFokpZUw?pwd=eses
提取碼：eses
參考資料:https://blog.csdn.net/liurui_wuhan/article/details/115480511

1.1安裝es

使用的版本都是7.12.1
使用的安裝方式是docker

1.創建互聯網路

創建kibana和es可以在docker中互聯的網路

docker network create es-net

2.加載鏡像

將資料包中的es.tar上傳到服務器

 # 匯入資料2
 docker load -i es.tar

ps:也可以自己pull ,只要最后的docker里有鏡像就好了

#pull的方法
docker pull docker.elastic.co/elasticsearch/elasticsearch:7.12.1
docker pull kibana:7.12.1

3.運行

docker run -d \
	--name es \
	 -e "ES_JAVA_OPTS=-Xms512m -Xmx512m" \
    -e "http.host=0.0.0.0"\
    -e "discovery.type=single-node" \
    -v es-data:/usr/share/elasticsearch/data \
    -v es-plugins:/usr/share/elasticsearch/plugins \
    --privileged \
    --network es-net \
    -p 9200:9200 \
    -p 9300:9300 \
elasticsearch:7.12.1

命令解釋：

--name es :給啟動的容器別名,查看的時候可以直接使用es代替所有需要填寫容器名稱的地方,比如docker logs -f es
-e "cluster.name=es-docker-cluster"：設定集群名稱
-e "http.host=0.0.0.0"：監聽的地址，可以外網訪問
-e "ES_JAVA_OPTS=-Xms512m -Xmx512m"：記憶體大小
-e "discovery.type=single-node"：非集群模式
-v es-data:/usr/share/elasticsearch/data：掛載邏輯卷，系結es的資料目錄
-v es-logs:/usr/share/elasticsearch/logs：掛載邏輯卷，系結es的日志目錄
-v es-plugins:/usr/share/elasticsearch/plugins：掛載邏輯卷，系結es的插件目錄
--privileged：授予邏輯卷訪問權
--network es-net ：加入一個名為es-net的網路中
-p 9200:9200：埠映射配置

在瀏覽器中輸入：http://服務器地址:9200 即可看到elasticsearch的回應結果：

1.2安裝kibana

kibana提供了可視化的界面

1.加載鏡像

跟es一樣,上傳到服務器,再加載

2.運行

docker run -d \
--name kibana \
-e ELASTICSEARCH_HOSTS=http://es:9200 \
--network=es-net \
-p 5601:5601  \
kibana:7.12.1

--network es-net ：加入一個名為es-net的網路中，與elasticsearch在同一個網路中
-e ELASTICSEARCH_HOSTS=http://es:9200"：設定elasticsearch的地址，因為kibana已經與elasticsearch在一個網路，因此可以用容器名直接訪問elasticsearch
-p 5601:5601：埠映射配置

kibana啟動一般比較慢，需要多等待一會，可以通過命令：

docker logs -f kibana

查看運行日志，當查看到下面的日志，說明成功：

此時，在瀏覽器輸入地址訪問：http://服務器地址:5601，即可看到結果

2.安裝filebeat

filebeat要安裝在你需要采集資料的計算機上,不一定要和es安裝在一臺機器上

比如我的專案是在本地跑,filebeat就要安在我的本機也就是windows下

1.下載filebeat

https://www.elastic.co/cn/downloads/past-releases/filebeat-7-12-1

2.撰寫filebeat.yml

 
# ============================== Filebeat inputs ===============================
filebeat.inputs:
- type: log
  enabled: true
  encoding: UTF-8
  paths:
  #你需要采集資料的地址,比如這個是我的專案生成log檔案的地址
    - D:\socialManeger\test1\logs\oper\*.log
# ---------------------------- Elasticsearch Output ----------------------------
output.elasticsearch:
# es 地址
  hosts: ["1.14.120.65:9200"]

ps:這是最簡單的yml,如果要實作過濾或者其他的功能,可以去看看他的組態檔詳解

3.運行

進入filebeat的安裝目錄

filebeat.exe -e -c filebeat.yml

3.整合springboot

1.pom.xml 新增logstash-logback-encoder依賴，logstash-logback-encoder可以將日志以json的方式輸出，也不用我們單獨處理多行記錄問題

<dependency>
    <groupId>net.logstash.logback</groupId>
    <artifactId>logstash-logback-encoder</artifactId>
    <version>5.3</version>
</dependency>

2.配置logback-spring.xml

<?xml version="1.0" encoding="UTF-8"?>
<configuration >
    <include resource="org/springframework/boot/logging/logback/defaults.xml"/>
    <contextName>logback</contextName>
    <property name="log.path" value="https://www.cnblogs.com/zero-2020/p/logs/" />
    <!--輸出到控制臺-->
    <appender name="STDOUT" >
        <filter >
            <level>debug</level>
        </filter>
        <encoder>
            <Pattern>${CONSOLE_LOG_PATTERN}</Pattern>
            <!-- 設定字符集 -->
            <charset>UTF-8</charset>
        </encoder>
    </appender>

    <!--輸出到檔案-->
    <appender name="INFO_FILE" >
        <file>${log.path}/oper/oper.log</file>
        <encoder>
            <pattern>%msg%n</pattern>
            <charset>UTF-8</charset>
        </encoder>
        <rollingPolicy >
            <fileNamePattern>${log.path}/oper/oper -%d{yyyy-MM-dd}.%i.log</fileNamePattern>
            <maxFileSize>100MB</maxFileSize>
            <maxHistory>30</maxHistory>
            <totalSizeCap>1GB</totalSizeCap>
        </rollingPolicy>
        <encoder  >
            <providers>
                <timestamp>
                    <timeZone>Asia/Shanghai</timeZone>
                </timestamp>
                <pattern>
                    <pattern>{"message": "%message"}</pattern>
                </pattern>
            </providers>
        </encoder>
        <filter >
            <level>info</level>
            <onMatch>ACCEPT</onMatch>
            <onMismatch>DENY</onMismatch>
        </filter>
    </appender>

    <!-- 時間滾動輸出 level為 ERROR 日志 -->
    <appender name="ERROR_FILE" >
        <file>${log.path}/error/error.log</file>
        <encoder>
            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{50} - %msg%n</pattern>
            <charset>UTF-8</charset> <!-- 此處設定字符集 -->
        </encoder>
        <rollingPolicy >
            <fileNamePattern>${log.path}/error/error-%d{yyyy-MM-dd}.%i.log</fileNamePattern>
            <maxFileSize>100MB</maxFileSize>
            <maxHistory>30</maxHistory>
            <totalSizeCap>1GB</totalSizeCap>
        </rollingPolicy>
        <filter >
            <level>ERROR</level>
            <onMatch>ACCEPT</onMatch>
            <onMismatch>DENY</onMismatch>
        </filter>
    </appender>


    <root level="INFO">
        <appender-ref ref="STDOUT" />
        <appender-ref ref="INFO_FILE" />
        <appender-ref ref="ERROR_FILE" />
    </root>

    <!--name:用來指定受此loger約束的某一個包或者具體的某一個類，-->
    <!--addtivity:是否向上級loger傳遞列印資訊，默認是true，-->
    <logger name="com.netflix" level="ERROR" />
    <logger name="net.sf.json" level="ERROR" />
    <logger name="org.springframework" level="ERROR" />
    <logger name="springfox" level="ERROR" />


</configuration>

啟動springboot服務，生成的日志會自動被filebeat采集并推送到es,可以查詢

如果想定制fielbeat.yml和logback.xml,可以去找參考資料

logback.xml詳解:

logback中文檔案:https://www.docs4dev.com/docs/zh/logback/1.3.0-alpha4/reference/architecture.html

轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/538503.html

標籤：Java

上一篇：SpringBoot（三）：全域組態檔以及yaml語法

下一篇：JDBC核心技術