最近，在對公司容器云的日志方案進行設計的時候，發現主流的ELK或者EFK比較重，再加上現階段對于ES復雜的搜索功能很多都用不上最終選擇了Grafana開源的Loki日志系統，下面介紹下Loki的背景，
背景和動機
當我們的容器云運行的應用或者某個節點出現問題了，解決思路應該如下：
我們的監控使用的是基于prometheus體系進行改造的，prometheus中比較重要的是metric和alert,metric是來說明當前或者歷史達到了某個值，alert設定metric達到某個特定的基數觸發了告警，但是這些資訊明顯是不夠的，
我們都知道，k8s的基本單位是pod,pod把日志輸出到stdout和stderr,平時有什么問題我們通常在界面或者通過命令查看相關的日志
舉個例子：當我們的某個pod的記憶體變得很大，觸發了我們的alert，這個時候管理員，去頁面查詢確認是哪個pod有問題，然后要確認pod記憶體變大的原因，我們還需要去查詢pod的日志，如果沒有日志系統，那么我們就需要到頁面或者使用命令進行查詢了：
如果，這個時候應用突然掛了，這個時候我們就無法查到相關的日志了，所以需要引入日志系統，統一收集日志，而使用ELK的話，就需要在Kibana和Grafana之間切換，影響用戶體驗，
所以 ，loki的第一目的就是最小化度量和日志的切換成本，有助于減少例外事件的回應時間和提高用戶的體驗
ELK存在的問題
現有的很多日志采集的方案都是采用全文檢索對日志進行索引（如ELK方案），優點是功能豐富，允許復雜的操作，
但是，這些方案往往規模復雜，資源占用高，操作苦難，很多功能往往用不上，大多數查詢只關注一定時間范圍和一些簡單的引數（如host、service等），使用這些解決方案就有點殺雞用牛刀的感覺了，
因此，Loki的第二個目的是，在查詢語言的易操作性和復雜性之間可以達到一個權衡，
成本
全文檢索的方案也帶來成本問題，簡單的說就是全文搜索（如：ES）的倒排索引的切分和共享的成本較高，
后來出現了其他不同的設計方案如：OKlog(https://github.com/oklog/oklog),采用最終一致的、基于網格的分布策略，
這兩個設計決策提供了大量的成本降低和非常簡單的操作，但是查詢不夠方便，因此，Loki的第三個目的是，提高一個更具成本效益的解決方案，
整體架構
Loki的架構如下：
不難看出，Loki的架構非常簡單，使用了和prometheus一樣的標簽來作為索引，也就是說，你通過這些標簽既可以查詢日志的內容也可以查詢到監控的資料，不但減少了兩種查詢之間的切換成本，也極大地降低了日志索引的存盤，
Loki將使用與prometheus相同的服務發現和標簽重新標記庫,撰寫了pormtail, 在k8s中promtail以daemonset方式運行在每個節點中，通過kubernetes api等到日志的正確元資料，并將它們發送到Loki，下面是日志的存盤架構：
讀寫
日志資料的寫主要依托的是Distributor和Ingester兩個組件,整體的流程如下：
Distributor
一旦promtail收集日志并將其發送給loki，Distributor就是第一個接收日志的組件，由于日志的寫入量可能很大，所以不能在它們傳入時將它們寫入資料庫，這會毀掉資料庫，我們需要批處理和壓縮資料，
Loki通過構建壓縮資料塊來實作這一點，方法是在日志進入時對其進行gzip操作，組件ingester是一個有狀態的組件，負責構建和重繪chunck，當chunk達到一定的數量或者時間后，重繪到存盤中去，每個流的日志對應一個ingester,當日志到達Distributor后，根據元資料和hash演算法計算出應該到哪個ingester上面，
此外，為了冗余和彈性，我們將其復制n（默認情況下為3）次，
Ingester
ingester接收到日志并開始構建chunk:
基本上就是將日志進行壓縮并附加到chunk上面，一旦chunk“填滿”（資料達到一定數量或者過了一定期限），ingester將其重繪到資料庫，我們對塊和索引使用單獨的資料庫，因為它們存盤的資料型別不同，
重繪一個chunk之后，ingester然后創建一個新的空chunk并將新條目添加到該chunk中，
Querier
讀取就非常簡單了，由Querier負責給定一個時間范圍和標簽選擇器，Querier查看索引以確定哪些塊匹配，并通過greps將結果顯示出來，它還從Ingester獲取尚未重繪的最新資料，
對于每個查詢，一個查詢器將為您顯示所有相關日志，實作了查詢并行化，提供分布式grep，使即使是大型查詢也是足夠的，
可擴展性
Loki的索引存盤可以是cassandra/bigtable/dynamodb，而chuncks可以是各種物件存盤，Querier和Distributor都是無狀態的組件，
對于ingester他雖然是有狀態的但是，當新的節點加入或者減少，整節點間的chunk會重新分配，已適應新的散列環，而Loki底層存盤的實作Cortex已經 在實際的生產中投入使用多年了，有了這句話，我可以放心的在環境中實驗一把了，
著作權宣告：本文為博主原創文章，遵循 CC 4.0 BY-SA 著作權協議，轉載請附上原文出處鏈接和本宣告，來源鏈接：https://blog.csdn.net/Linkthaha/
關注公眾號Java技術堆疊回復"面試"獲取我整理的2020最全面試題及答案，
推薦去我的博客閱讀更多：
1.Java JVM、集合、多執行緒、新特性系列教程
2.Spring MVC、Spring Boot、Spring Cloud 系列教程
3.Maven、Git、Eclipse、Intellij IDEA 系列工具教程
4.Java、后端、架構、阿里巴巴等大廠最新面試題
覺得不錯，別忘了點贊+轉發哦！
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/150246.html
標籤：Java