主頁 > 軟體工程 > 微服務,【容器亞健康狀態】問題,研究和解決

微服務,【容器亞健康狀態】問題,研究和解決

2021-02-16 17:37:02 軟體工程

---【前言】---

我問:“程式有『亞健康狀態』嗎?”

一個正常的人,應該這樣回答:“什么?程式,亞健康,,,?你神經病吧?我只聽說過人,有亞健康狀態,”

 

實際上,‘程式’是有『亞健康狀態』的,這和人有『濕氣』道理一樣,

『亞健康狀態』是指,程式處于【正常】和【非正常】之間,老司機都知道,

最明顯的表現就是:程式表面輸入/輸出正常,但卡頓,或后臺在瘋狂報錯,

細探原因,實際上是千奇百怪的,這里不做展開,

既然程式有亞健康狀態,那么容器內運行的程式,也應該有亞健康狀態,也很合理,這就是標題說的『容器亞健康狀態』問題,

 

https://www.cnblogs.com/cmt/p/14083631.html

上述『容器亞健康狀態』問題,在博客園特例中,我總結如下:

最開始,后端資料庫有問題了,導致頁面pod報錯,后端資料庫修復后,頁面表現有時很快,有時卡頓,估計某個pod有問題,沒恢復過來,但由于pod很多,無法立馬找出問題pod,猜測cpu100%,但是容器探活正常,或探活有些慢但能通過,

 

---【『容器亞健康狀態』問題分析】---

老司機都知道,細探原因,實際上是千奇百怪的,

又因為部分容器正常,所以你必須收集所有容器的log,這些『亞健康狀態容器』,也是能通過容器探活的,有時候我們并不具備詳細探究的條件,這就好像醫生知道從海鮮市場里出來的很多病人肺有問題了,用常規的藥后也治不好,而你急著解決,手頭上還沒有【基因測序】這些個超級手段,

---【k8s的解法】---

假設100個容器里頭,有1個『亞健康狀態容器』,這個容器還是『無癥狀』或『癥狀不明顯,能過探活』這種,這個問題是不容易解決的,

K8s 1.15版本,提供了滾動重啟的命令,但我趕腳相對而言不輕量,

需要說明的是:

定時重啟能緩解和部分解決這種問題,不能解決所有問題,要想解決所有問題,還得靠壓測,和看日志,還有除錯,

---【k4t的解法】---

K4t是我業余時間開發的,容器編排系統,

博客園的問題,提醒了我,我看了k8s的解決方案后,琢磨出了這個問題更好的方案:

即『殺死容器老奶奶』功能,或者叫『最老容器_定時重啟間隔』引數,

這個值默認是7天,最小是1分鐘,值系結在應用上,

這個引數假設生存時間越長的容器副本,越會出問題,而新run的容器副本,假設沒問題,

也就是說超過這個閾值(1分鐘---7天),就會優雅的重啟1個容器副本,即先不給容器喂流量,超過n分鐘后,再讓容器下崗,繼而重啟容器副本,

若遇到上述『容器亞健康』問題,則調小這個值即可,等過一段時間,容器都優雅重啟了后,再調整回來即可,當然了,我的k4t是有辦法查看,每個容器的啟動時間的,

 

注意:

l 定時重啟并不能解決所有問題,要想解決所有問題,還得靠壓測,和看日志,還有除錯,

l 此引數不能理解成『單個容器最大生存時間』,設你的應用有10個容器副本,第一個容器會在7天后重啟,第10個容器在70天才會重啟,

這個引數,看起來跟滾動重啟類似嗎?

K8s有這功能嗎???

 

---【附錄a:k4t簡介】---

k4t即:《kaiiit生產級別的容器編排系統》  

https://gitee.com/chuanjiao10/k4t

預計2021年6月發布alphi1版

中文名:《海賊帝·優秀的怕被沽溝暗殺·黑毛腿》

中文別名:《ps1倚天劍》

 

這是一套基于《卡死你3000》打造的,全功能,容器集群的自動化部署、擴容以及運維的平臺,(國產k8s),它采用開放式架構,具有網路簡單穩定,使用簡單,腳本操控靈活的特點,

powershell傳教士 業余時間 作品

群名稱:k4t官方1群  群   號:722528388

 

---【附錄b:k4t 組件介紹】---

 問:完美版的k4t專案,由哪幾部分組件構成?

 答:

 1 master端, 正在開發中,預計2021年6月前發布alphi1版,

 2 node端,已經開發完成,并部分開源免費成為雛形版,

 3 動態負載均衡api網關,(外部)

提供反向代理,和負載均衡功能,用于給一組容器應用,形成統一的ip,

目前基于我撰寫的envoy后端增刪腳本,

https://gitee.com/chuanjiao10/envoy_powershell

你也可diy,改成自己喜歡的,

 

 4 動態dns,(外部)

是非必要組件,K4t集群,可以只用負載均衡器api-getway,

用于給一組容器應用,形成統一的服務名字,

目前基于未激活的無圖win2019,當然有圖版win2019也行,你也可diy,改成自己喜歡的,例如:dnsmasq

 

---【后記】---

“容器當然有亞健康狀態了,容器996也有可能會疲勞呀!這和人有‘濕氣’道理是一樣的”我喃喃道,

 

K4t的這個引數,讓容器告別996,也有輪流上下班時間了,哈哈,這引數堪稱『大力丸』,有病能治病(比如記憶體泄漏),無病能防病(比如記憶體泄漏),實乃居家旅行、以及運維編排、必備之好手段也!

 

謝謝觀看,

轉載請註明出處,本文鏈接:https://www.uj5u.com/gongcheng/260178.html

標籤:其他

上一篇:微服務,【容器亞健康狀態】問題,研究和解決

下一篇:請教一個正則運算式咋寫

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • Git本地庫既關聯GitHub又關聯Gitee

    創建代碼倉庫 使用gitee舉例(github和gitee差不多) 1.在gitee右上角點擊+,選擇新建倉庫 ? 2.選擇填寫倉庫資訊,然后進行創建 ? 3.服務端已經準備好了,本地開始作準備 (1)Git 全域設定 git config --global user.name "成鈺" git c ......

    uj5u.com 2020-09-10 05:04:14 more
  • CODING DevOps 代碼質量實戰系列第二課,相約周三

    隨著 ToB(企業服務)的興起和 ToC(消費互聯網)產品進入成熟期,線上故障帶來的損失越來越大,代碼質量越來越重要,而「質量內建」正是 DevOps 核心理念之一。**《DevOps 代碼質量實戰(PHP 版)》**為 CODING DevOps 代碼質量實戰系列的第二課,同時也是本系列的 PHP ......

    uj5u.com 2020-09-10 05:07:43 more
  • 推薦Scrum書籍

    推薦Scrum書籍 直接上干貨,推薦書籍清單如下(推薦有順序的哦) Scrum指南 Scrum精髓 Scrum敏捷軟體開發 Scrum捷徑 硝煙中的Scrum和XP : 我們如何實施Scrum 敏捷軟體開發:Scrum實戰指南 Scrum要素 大規模Scrum:大規模敏捷組織的設計 用戶故事地圖 用 ......

    uj5u.com 2020-09-10 05:07:45 more
  • CODING DevOps 代碼質量實戰系列最后一課,周四發車

    隨著 ToB(企業服務)的興起和 ToC(消費互聯網)產品進入成熟期,線上故障帶來的損失越來越大,代碼質量越來越重要,而「質量內建」正是 DevOps 核心理念之一。 **《DevOps 代碼質量實戰(Java 版)》**為 CODING DevOps 代碼質量實戰系列的最后一課,同時也是本系列的 ......

    uj5u.com 2020-09-10 05:07:52 more
  • 敏捷軟體工程實踐書籍

    Scrum轉型想要做好,第一步先了解并真正落實Scrum,那么我推薦的Scrum書籍是要看懂并實踐的。第二步是團隊的工程實踐要做扎實。 下面推薦工程實踐書單: 重構:改善既有代碼的設計 決議極限編程 : 擁抱變化 代碼整潔代碼 程式員的職業素養 修改代碼的藝術 撰寫可讀代碼的藝術 測驗驅動開發 : ......

    uj5u.com 2020-09-10 05:07:55 more
  • Jenkins+svn+nginx實作windows環境自動部署vue前端專案

    前面文章介紹了Jenkins+svn+tomcat實作自動化部署,現在終于有空抽時間出來寫下Jenkins+svn+nginx實作自動部署vue前端專案。 jenkins的安裝和配置已經在前面文章進行介紹,下面介紹實作vue前端專案需要進行的哪些額外的步驟。 注意:在安裝jenkins和nginx的 ......

    uj5u.com 2020-09-10 05:08:49 more
  • CODING DevOps 微服務專案實戰系列第一課,明天等你

    CODING DevOps 微服務專案實戰系列第一課**《DevOps 微服務專案實戰:DevOps 初體驗》**將由 CODING DevOps 開發工程師 王寬老師 向大家介紹 DevOps 的基本理念,并探討為什么現代開發活動需要 DevOps,同時將以 eShopOnContainers 項 ......

    uj5u.com 2020-09-10 05:09:14 more
  • CODING DevOps 微服務專案實戰系列第二課來啦!

    近年來,工程專案的結構越來越復雜,需要接入合適的持續集成流水線形式,才能滿足更多變的需求,那么如何優雅地使用 CI 能力提升生產效率呢?CODING DevOps 微服務專案實戰系列第二課 《DevOps 微服務專案實戰:CI 進階用法》 將由 CODING DevOps 全堆疊工程師 何晨哲老師 向 ......

    uj5u.com 2020-09-10 05:09:33 more
  • CODING DevOps 微服務專案實戰系列最后一課,周四開講!

    隨著軟體工程越來越復雜化,如何在 Kubernetes 集群進行灰度發布成為了生產部署的”必修課“,而如何實作安全可控、自動化的灰度發布也成為了持續部署重點關注的問題。CODING DevOps 微服務專案實戰系列最后一課:**《DevOps 微服務專案實戰:基于 Nginx-ingress 的自動 ......

    uj5u.com 2020-09-10 05:10:00 more
  • CODING 儀表盤功能正式推出,實作作業資料可視化!

    CODING 儀表盤功能現已正式推出!該功能旨在用一張張統計卡片的形式,統計并展示使用 CODING 中所產生的資料。這意味著無需額外的設定,就可以收集歸納寶貴的作業資料并予之量化分析。這些海量的資料皆會以圖表或串列的方式躍然紙上,方便團隊成員隨時查看各專案的進度、狀態和指標,云端協作迎來真正意義上 ......

    uj5u.com 2020-09-10 05:11:01 more
最新发布
  • windows系統git使用ssh方式和gitee/github進行同步

    使用git來clone專案有兩種方式:HTTPS和SSH:
    HTTPS:不管是誰,拿到url隨便clone,但是在push的時候需要驗證用戶名和密碼;
    SSH:clone的專案你必須是擁有者或者管理員,而且需要在clone前添加SSH Key。SSH 在push的時候,是不需要輸入用戶名的,如果配置... ......

    uj5u.com 2023-04-19 08:41:12 more
  • windows系統git使用ssh方式和gitee/github進行同步

    使用git來clone專案有兩種方式:HTTPS和SSH:
    HTTPS:不管是誰,拿到url隨便clone,但是在push的時候需要驗證用戶名和密碼;
    SSH:clone的專案你必須是擁有者或者管理員,而且需要在clone前添加SSH Key。SSH 在push的時候,是不需要輸入用戶名的,如果配置... ......

    uj5u.com 2023-04-19 08:35:34 more
  • 2023年農牧行業6大CRM系統、5大場景盤點

    在物聯網、大資料、云計算、人工智能、自動化技術等現代資訊技術蓬勃發展與逐步成熟的背景下,數字化正成為農牧行業供給側結構性變革與高質量發展的核心驅動因素。因此,改造和提升傳統農牧業、開拓創新現代智慧農牧業,加快推進農牧業的現代化、資訊化、數字化建設已成為農牧業發展的重要方向。 當下,企業數字化轉型已經 ......

    uj5u.com 2023-04-18 08:05:44 more
  • 2023年農牧行業6大CRM系統、5大場景盤點

    在物聯網、大資料、云計算、人工智能、自動化技術等現代資訊技術蓬勃發展與逐步成熟的背景下,數字化正成為農牧行業供給側結構性變革與高質量發展的核心驅動因素。因此,改造和提升傳統農牧業、開拓創新現代智慧農牧業,加快推進農牧業的現代化、資訊化、數字化建設已成為農牧業發展的重要方向。 當下,企業數字化轉型已經 ......

    uj5u.com 2023-04-18 08:00:18 more
  • 計算機組成原理—存盤器

    計算機組成原理—硬體結構 二、存盤器 1.概述 存盤器是計算機系統中的記憶設備,用來存放程式和資料 1.1存盤器的層次結構 快取-主存層次主要解決CPU和主存速度不匹配的問題,速度接近快取 主存-輔存層次主要解決存盤系統的容量問題,容量接近與價位接近于主存 2.主存盤器 2.1概述 主存與CPU的聯 ......

    uj5u.com 2023-04-17 08:20:31 more
  • 談一談我對協同開發的一些認識

    如今各互聯網公司普通都使用敏捷開發,采用小步快跑的形式來進行專案開發。如果是小專案或者小需求,那一個開發可能就搞定了。但對于電商等復雜的系統,其功能多,結構復雜,一個人肯定是搞不定的,所以都是很多人來共同開發維護。以我曾經待過的商城團隊為例,光是后端開發就有七十多人。 為了更好地開發這類大型系統,往 ......

    uj5u.com 2023-04-17 08:18:55 more
  • 專案管理PRINCE2核心知識點整理

    PRINCE2,即 PRoject IN Controlled Environment(受控環境中的專案)是一種結構化的專案管理方法論,由英國政府內閣商務部(OGC)推出,是英國專案管理標準。
    PRINCE2 作為一種開放的方法論,是一套結構化的專案管理流程,描述了如何以一種邏輯性的、有組織的方法,... ......

    uj5u.com 2023-04-17 08:18:51 more
  • 談一談我對協同開發的一些認識

    如今各互聯網公司普通都使用敏捷開發,采用小步快跑的形式來進行專案開發。如果是小專案或者小需求,那一個開發可能就搞定了。但對于電商等復雜的系統,其功能多,結構復雜,一個人肯定是搞不定的,所以都是很多人來共同開發維護。以我曾經待過的商城團隊為例,光是后端開發就有七十多人。 為了更好地開發這類大型系統,往 ......

    uj5u.com 2023-04-17 08:18:00 more
  • 專案管理PRINCE2核心知識點整理

    PRINCE2,即 PRoject IN Controlled Environment(受控環境中的專案)是一種結構化的專案管理方法論,由英國政府內閣商務部(OGC)推出,是英國專案管理標準。
    PRINCE2 作為一種開放的方法論,是一套結構化的專案管理流程,描述了如何以一種邏輯性的、有組織的方法,... ......

    uj5u.com 2023-04-17 08:17:55 more
  • 計算機組成原理—存盤器

    計算機組成原理—硬體結構 二、存盤器 1.概述 存盤器是計算機系統中的記憶設備,用來存放程式和資料 1.1存盤器的層次結構 快取-主存層次主要解決CPU和主存速度不匹配的問題,速度接近快取 主存-輔存層次主要解決存盤系統的容量問題,容量接近與價位接近于主存 2.主存盤器 2.1概述 主存與CPU的聯 ......

    uj5u.com 2023-04-17 08:12:06 more