前言

微服務情況下，通常會有一臺日志服務器，專門存放日志，我們在查看日志的時候，通過指定的目錄加上專案名稱為路徑，就可以找到我們想找的目錄，

環境

centos7
kafak
logstash
demo專案

步驟

安裝及配置logstash

從官網上下載logstash，https://artifacts.elastic.co/downloads/logstash/logstash-7.5.2.tar.gz
解壓，使用 tar -xzvf [file]檔案解壓
創建logstash的組態檔目錄

mkdir -p /etc/logstash/
cd /etc/logstash
mkdir conf.d
touch logstash.yml
cd conf.d
touch kafka.yml

在這里插入圖片描述配置logstash.yml檔案

path.config: /usr/share/logstash/conf.d/*.conf
path.logs: /var/log/logstash

配置kafka.yml檔案

input {
  kafka {
      bootstrap_servers => "192.168.56.124:9092"
      topics_pattern => ".*"
      group_id => "logstash2_servivce"
      consumer_threads => 10
      auto_offset_reset => "earliest"
      decorate_events => "true"
  }
}


filter {
  mutate {
    remove_field => ["@version", "@timestamp"]
  }

}

output {
    file {
	  path => "/data/log/kafka/%{[@metadata][kafka][topic]}/%{[@metadata][kafka][topic]}.log"
      codec => line { format => "%{message}"}
	}
}

啟動logstash

/root/elk-a/logstash-7.5.2/bin/logstash --path.settings /etc/logstash/ -f /etc/logstash/conf.d/

在這里插入圖片描述

安裝kafka

這是使用docker-compose.yml部署，這里只需要替換下ip即可，

version: '2'
services:
  zookeeper:
    image: wurstmeister/zookeeper   ## 鏡像
    ports:
      - "2181:2181"                 ## 對外暴露的埠號
  kafka:
    image: wurstmeister/kafka       ## 鏡像
    volumes:
      - /etc/localtime:/etc/localtime ## 掛載位置（kafka鏡像和宿主機器之間時間保持一直）
    ports:
      - "9092:9092"
    environment:
      KAFKA_ADVERTISED_HOST_NAME: 192.168.56.124   ## 修改:宿主機IP
      KAFKA_ZOOKEEPER_CONNECT: 192.168.56.124:2181       ## 卡夫卡運行是基于zookeeper的
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://192.168.56.124:9092
  kafka-manager:
    image: sheepkiller/kafka-manager                ## 鏡像：開源的web管理kafka集群的界面
    environment:
      ZK_HOSTS: 192.168.56.124                    ## 修改:宿主機IP
    ports:
      - "9000:9000"