主頁 > .NET開發 > .Net Core with 微服務 - Seq 日志聚合

.Net Core with 微服務 - Seq 日志聚合

2021-06-25 06:03:14 .NET開發

上一次我們介紹并演示了如果使用 Consul 做為我們微服務的注冊中心,來實作服務的注冊與發現,那么本次我們講會演示如何做日志聚合,日志聚合比較常用的有 ELK 等,但是這次我想要介紹的是一款比較小眾的日志聚合工具 - Seq ,

日志聚合

日志是我們寫程式離不開的一個東西,在我們排查問題的時候日志就是我們的救命稻草,我們的每個服務都在不停的生產日志,但是實施微服務后,如果按照傳統的寫本地檔案的日志方案,顯然會面臨跟修改配置一樣麻煩的境地,不同的日志分散在各個服務器、容器內,這種情況下查日志簡直是生不如死,
日志聚合組件為我們解決了這個問題,所有的服務通過介面發送日志到聚合服務,再由聚合服務進行統一存盤,并且提供統一的查詢、分析的能力,
日志聚合組件業界有 ELK、Exceptionless、Seq 等,

Seq

Seq 是一款使用現代化技術構建的結構化日志存盤,查詢,分析工具,比起 ELK 這種組合要輕量級許多,只需要一個安裝包就具有資料存盤,查詢,圖表分析功能,它對 windows 友好,直接提供了安裝包,當然也可以使用 docker 來部署,Seq 對于單個用戶是免費的,這對于一些小團隊并沒有什么問題,Seq 一個比較強大的功能是提供了類似 Sql 陳述句的資料查詢及處理能力,使得用戶可以直接寫 Select from 來得到自己想要的資料,

seq 的 dashboard 頁面,

seq 的查詢界面,
seq 網址

使用 docker 安裝

docker run --name seq -e ACCEPT_EULA=Y -p 8900:80 -p 5341:5341 datalust/seq

使用 docker run 運行一個實體,8900 系結容器的 80 埠,該埠是 web 管理界面的入口,5341 系結容器的 5341 埠,該埠是日志寫入時候真正的埠,

使用 docker-compose 安裝

  seq_server:
    image: datalust/seq
    restart: always
    container_name: seq_server
    hostname: seq_server
    environment:
      - ACCEPT_EULA=Y
    ports:
      - 8900:80
      - 5341:5341

把上面的 docker 命令改寫成 docker-compose 命令,
安裝好 seq 之后,我們訪問一下 http://localhost:8090 如果管理后臺出現說明我們安裝成功了,

NLog 集成 Seq

seq 安裝成功之后,我們可以開始跟 asp.net core 專案進行集成了,這里采用 Nlog 日志組件進行演示,如何跟 seq 集成,

點擊 “API KEYS” 、“ADD API KEY” 彈出新增 API KEY 界面,

我們可以在這個界面為每個服務指定一個 APIKEY 當寫入 Seq 的是用來區分服務,填寫 title 資訊,選擇具有的權限,還可以自定義一些屬性,這些屬性會附加到每個日志記錄上,比如我們這里為 member_center 這個 apikey 自定義一個 app = member_center 的屬性,

Install-Package NLog.Targets.Seq

nuget 安裝 Nlog 的 Seq 擴展,

<?xml version="1.0" encoding="utf-8" ?>
<nlog xmlns="http://www.nlog-project.org/schemas/NLog.xsd"
      xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
      autoReload="true"
      internalLogLevel="info"
      internalLogFile="logs/internal-nlog.txt">

  <extensions>
    <add assembly="NLog.Targets.Seq"/>
  </extensions>
  <!-- the targets to write to -->
  <targets>

    <!-- write to the void aka just remove -->
    <target xsi:type="Null" name="blackhole" />

    <target name="seq" xsi:type="BufferingWrapper" bufferSize="1000" flushTimeout="2000"  >
      <target xsi:type="Seq" serverUrl="http://192.168.18.164:5341" apiKey="vuRYxr8bMXuvKNbwVNUp">
        <property name="ThreadId" value="https://www.cnblogs.com/kklldog/archive/2021/06/24/${threadid}" as="number" />
        <property name="stacktrace" value="https://www.cnblogs.com/kklldog/archive/2021/06/24/${onexception:inner=${stacktrace}}"/>
      </target>
    </target>
  </targets>

  <!-- rules to map from logger name to target -->
  <rules>
    <!--Skip Microsoft logs and so log only own logs-->
    <logger name="Microsoft.*" minlevel="Trace" writeTo="blackhole" final="true" />

    <logger name="*" minlevel="Trace" writeTo="seq" />
  </rules>
</nlog>

在專案根目錄添加一個 nlog.config 的 xml 組態檔,添加一個 seq 的 target ,在這個 target 上填寫 serverUrl(seq的服務地址),apiKey,

        public static IHostBuilder CreateHostBuilder(string[] args) =>
            Host.CreateDefaultBuilder(args)
                .ConfigureWebHostDefaults(webBuilder =>
                {
                    webBuilder.ConfigureKestrel(options =>
                    {
                        options.ListenAnyIP(6003);
                    });
                    webBuilder.UseStartup<Startup>();
                })
                .UseNLog();

在 Program 檔案的 CreateHostBuilder 方法最后追加 UseNLog 呼叫,

    [ApiController]
    [Route("[controller]")]
    public class TestController : ControllerBase
    {
        private readonly ILogger _logger;

        public TestController(ILoggerFactory loggerFactory)
        {
            _logger = loggerFactory.CreateLogger<TestController>();
        }

        [HttpGet("TestLogSeq")]
        public string TestLogSeq()
        {
            _logger.LogTrace("this is a test log for trace level .");
            _logger.LogDebug("this is a test log for debug level .");
            _logger.LogInformation("this is a test log for info level .");
            _logger.LogWarning("this is a test log for warning level .");
            _logger.LogError(new Exception("this is a ex for seq log ."), "this is a test log for error level .");

            return "ok";
        }
    }

添加一個 TestController 撰寫一個 TestLogSeq 方法,在這里打一些日志,

我們訪問一下這個介面,打開 seq 的站點可以看到我們的日志已經寫到 seq 里面了,

查詢

我們的服務每天都會產生數以萬計的日志,現在把所有服務的日志都聚合在一起,那數量就更加龐大,在海量日志中查找需要的日志,顯然變得很困難,
還好 Seq 帶有強大的查詢功能,我們可以像在資料庫里查詢那樣,使用 Sql 陳述句來進行查詢,
下面演示幾個查詢例子:

  1. like 查詢
@Message like '%init%'

查詢日志訊息里帶有 init 關鍵字的日志

2. = 查詢

@Level = 'Error'

查詢日志級別為 Error 的日志,

app = 'hotel_base'

查詢所有 hotel_base 服務的日志,

3. 聚合函式

select count(1) from stream group by @Level

按日志級別分組,統計每個級別的數量,

以上簡單的演示了幾個查詢方案,Seq 的查詢相當的強大,具體請查考官方檔案:the-seq-query-language

總結

通過以上內容,我們簡單的演示了 Seq 日志聚合工具的安裝、與.net core 進行集成,查詢日志等功能,Seq 雖然比起 ELK 比較冷門,但是最近跟一些朋友交流下來,發現很多朋友都開始使用 Seq 來做為日志聚合工具了,這也說明 Seq 確實有一定的實力,大家不妨一試,

專案地址

https://github.com/kklldog/myhotel_microservice

相關文章

NET Core with 微服務 - 什么是微服務
.Net Core with 微服務 - 架構圖
.Net Core with 微服務 - Ocelot 網關
.Net Core with 微服務 - Consul 注冊中心

關注我的公眾號一起玩轉技術

轉載請註明出處,本文鏈接:https://www.uj5u.com/net/288333.html

標籤:.NET技术

上一篇:創建.Net 5應用并部署到Docker

下一篇:C#使用NPOI根據模板生成Word檔案功能實作

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • WebAPI簡介

    Web體系結構: 有三個核心:資源(resource),URL(統一資源識別符號)和表示 他們的關系是這樣的:一個資源由一個URL進行標識,HTTP客戶端使用URL定位資源,表示是從資源回傳資料,媒體型別是資源回傳的資料格式。 接下來我們說下HTTP. HTTP協議的系統是一種無狀態的方式,使用請求/ ......

    uj5u.com 2020-09-09 22:07:47 more
  • asp.net core 3.1 入口:Program.cs中的Main函式

    本文分析Program.cs 中Main()函式中代碼的運行順序分析asp.net core程式的啟動,重點不是剖析原始碼,而是理清程式開始時執行的順序。到呼叫了哪些實體,哪些法方。asp.net core 3.1 的程式入口在專案Program.cs檔案里,如下。ususing System; us ......

    uj5u.com 2020-09-09 22:07:49 more
  • asp.net網站作為websocket服務端的應用該如何寫

    最近被websocket的一個問題困擾了很久,有一個需求是在web網站中搭建websocket服務。客戶端通過網頁與服務器建立連接,然后服務器根據ip給客戶端網頁發送資訊。 其實,這個需求并不難,只是剛開始對websocket的內容不太了解。上網搜索了一下,有通過asp.net core 實作的、有 ......

    uj5u.com 2020-09-09 22:08:02 more
  • ASP.NET 開源匯入匯出庫Magicodes.IE Docker中使用

    Magicodes.IE在Docker中使用 更新歷史 2019.02.13 【Nuget】版本更新到2.0.2 【匯入】修復單列匯入的Bug,單元測驗“OneColumnImporter_Test”。問題見(https://github.com/dotnetcore/Magicodes.IE/is ......

    uj5u.com 2020-09-09 22:08:05 more
  • 在webform中使用ajax

    如果你用過Asp.net webform, 說明你也算是.NET 開發的老兵了。WEBform應該是2011 2013左右,當時還用visual studio 2005、 visual studio 2008。后來基本都用的是MVC。 如果是新開發的專案,估計沒人會用webform技術。但是有些舊版 ......

    uj5u.com 2020-09-09 22:08:50 more
  • iis添加asp.net網站,訪問提示:由于擴展配置問題而無法提供您請求的

    今天在iis服務器配置asp.net網站,遇到一個問題,記錄一下: 問題:由于擴展配置問題而無法提供您請求的頁面。如果該頁面是腳本,請添加處理程式。如果應下載檔案,請添加 MIME 映射。 WindowServer2012服務器,添加角色安裝完.netframework和iis之后,運行aspx頁面 ......

    uj5u.com 2020-09-09 22:10:00 more
  • WebAPI-處理架構

    帶著問題去思考,大家好! 問題1:HTTP請求和回傳相應的HTTP回應資訊之間發生了什么? 1:首先是最底層,托管層,位于WebAPI和底層HTTP堆疊之間 2:其次是 訊息處理程式管道層,這里比如日志和快取。OWIN的參考是將訊息處理程式管道的一些功能下移到堆疊下端的OWIN中間件了。 3:控制器處理 ......

    uj5u.com 2020-09-09 22:11:13 more
  • 微信門戶開發框架-使用指導說明書

    微信門戶應用管理系統,采用基于 MVC + Bootstrap + Ajax + Enterprise Library的技術路線,界面層采用Boostrap + Metronic組合的前端框架,資料訪問層支持Oracle、SQLServer、MySQL、PostgreSQL等資料庫。框架以MVC5,... ......

    uj5u.com 2020-09-09 22:15:18 more
  • WebAPI-HTTP編程模型

    帶著問題去思考,大家好!它是什么?它包含什么?它能干什么? 訊息 HTTP編程模型的核心就是訊息抽象,表示為:HttPRequestMessage,HttpResponseMessage.用于客戶端和服務端之間交換請求和回應訊息。 HttpMethod類包含了一組靜態屬性: private stat ......

    uj5u.com 2020-09-09 22:15:23 more
  • 部署WebApi隨筆

    一、跨域 NuGet參考Microsoft.AspNet.WebApi.Cors WebApiConfig.cs中配置: // Web API 配置和服務 config.EnableCors(new EnableCorsAttribute("*", "*", "*")); 二、清除默認回傳XML格式 ......

    uj5u.com 2020-09-09 22:15:48 more
最新发布
  • C#多執行緒學習(二) 如何操縱一個執行緒

    <a href="https://www.cnblogs.com/x-zhi/" target="_blank"><img width="48" height="48" class="pfs" src="https://pic.cnblogs.com/face/2943582/20220801082530.png" alt="" /></...

    uj5u.com 2023-04-19 09:17:20 more
  • C#多執行緒學習(二) 如何操縱一個執行緒

    C#多執行緒學習(二) 如何操縱一個執行緒 執行緒學習第一篇:C#多執行緒學習(一) 多執行緒的相關概念 下面我們就動手來創建一個執行緒,使用Thread類創建執行緒時,只需提供執行緒入口即可。(執行緒入口使程式知道該讓這個執行緒干什么事) 在C#中,執行緒入口是通過ThreadStart代理(delegate)來提供的 ......

    uj5u.com 2023-04-19 09:16:49 more
  • 記一次 .NET某醫療器械清洗系統 卡死分析

    <a href="https://www.cnblogs.com/huangxincheng/" target="_blank"><img width="48" height="48" class="pfs" src="https://pic.cnblogs.com/face/214741/20200614104537.png" alt="" /&g...

    uj5u.com 2023-04-18 08:39:04 more
  • 記一次 .NET某醫療器械清洗系統 卡死分析

    一:背景 1. 講故事 前段時間協助訓練營里的一位朋友分析了一個程式卡死的問題,回過頭來看這個案例比較經典,這篇稍微整理一下供后來者少踩坑吧。 二:WinDbg 分析 1. 為什么會卡死 因為是表單程式,理所當然就是看主執行緒此時正在做什么? 可以用 ~0s ; k 看一下便知。 0:000> k # ......

    uj5u.com 2023-04-18 08:33:10 more
  • SignalR, No Connection with that ID,IIS

    <a href="https://www.cnblogs.com/smartstar/" target="_blank"><img width="48" height="48" class="pfs" src="https://pic.cnblogs.com/face/u36196.jpg" alt="" /></a>...

    uj5u.com 2023-03-30 17:21:52 more
  • 一次對pool的誤用導致的.net頻繁gc的診斷分析

    <a href="https://www.cnblogs.com/dotnet-diagnostic/" target="_blank"><img width="48" height="48" class="pfs" src="https://pic.cnblogs.com/face/3115652/20230225090434.png" alt=""...

    uj5u.com 2023-03-28 10:15:33 more
  • 一次對pool的誤用導致的.net頻繁gc的診斷分析

    <a href="https://www.cnblogs.com/dotnet-diagnostic/" target="_blank"><img width="48" height="48" class="pfs" src="https://pic.cnblogs.com/face/3115652/20230225090434.png" alt=""...

    uj5u.com 2023-03-28 10:13:31 more
  • C#遍歷指定檔案夾中所有檔案的3種方法

    <a href="https://www.cnblogs.com/xbhp/" target="_blank"><img width="48" height="48" class="pfs" src="https://pic.cnblogs.com/face/957602/20230310105611.png" alt="" /></a&...

    uj5u.com 2023-03-27 14:46:55 more
  • C#/VB.NET:如何將PDF轉為PDF/A

    <a href="https://www.cnblogs.com/Carina-baby/" target="_blank"><img width="48" height="48" class="pfs" src="https://pic.cnblogs.com/face/2859233/20220427162558.png" alt="" />...

    uj5u.com 2023-03-27 14:46:35 more
  • 武裝你的WEBAPI-OData聚合查詢

    <a href="https://www.cnblogs.com/podolski/" target="_blank"><img width="48" height="48" class="pfs" src="https://pic.cnblogs.com/face/616093/20140323000327.png" alt="" /><...

    uj5u.com 2023-03-27 14:46:16 more