主頁 > 軟體工程 > 阿里巴巴監管控一體化運維|阿里巴巴DevOps實踐指南

阿里巴巴監管控一體化運維|阿里巴巴DevOps實踐指南

2022-01-28 07:25:31 軟體工程

image.png

編者按:本文源自阿里云云效團隊出品的《阿里巴巴DevOps實踐指南》,掃描上方二維碼或前往:https://developer.aliyun.com/topic/devops,下載完整版電子書,了解阿里十年DevOps實踐經驗,

阿里巴巴的運維體系經歷了腳本時代、工具時代和 DevOps 時代,目前正在實作自動化運維并探索智能化運維階段,在 2008-2009 年,阿里巴巴的運維還處于腳本時代,大量的運維作業需要通過腳本來實作,隨著業務規模擴大和復雜度的提高,腳本的方式越來越難以維護,因此阿里巴巴開始引入運維工具,在運維工具時代,阿里巴巴的運維體系經歷了:從工具團隊和運維團隊并行的階段,到為了更好地保障工具質量統一的工具團隊階段,再到逐漸有 DevOps 思想和職能的偏軟體的工具團隊階段,最后,阿里巴巴應用運維團隊迎來了一場大變革,以前的應用運維團隊全被打散,合并到各業務的軟體開發團隊中去,全面踐行 DevOps 思想,

image.png

進入 DevOps 階段后,成熟的流程化運維工具雖然提升了一部分運維效率,但是各個工具之間實際是獨立割裂的,例如監控工具和運維工具是割裂的,巡檢工具和快恢工具也是割裂的,這導致日常應用持續運維程序中,從監控發現、定位并快速恢復問題的鏈路很長而且低效,對運維開發來說,期望的狀態是業務應用上線后可以“No Ops”,監控及運維系統能自行發現例外并自動解決,把應用及業務帶回正常狀態,處理結束后,發一個訊息通知下即可, 朝著“No Ops”方向努力,阿里巴巴應用運維開始了“監管控一體化”的體系建設,

新挑戰

隨著阿里巴巴業務的持續發展及技術架構地不斷演進,新的場景和問題不斷出現,這些都給以應用為中心的監控運維帶來了新的挑戰,

超大規模

阿里巴巴不但擁有眾多形態各異的業務,而且體量大,特別是每年天貓雙 11 大促,需要超大規模的 IAAS 資源支撐,2015 年之前,阿里巴巴每年都要花費巨額費用來購買服務器,建設一代又一代的 IDC 資料中心;2015 年至 2019 年,阿里巴巴走向全面云化的程序,在這個時期,阿里巴巴的基礎設施一部分在云下資料中心,另一部分在阿里云上的資料中心,還需要支持同城多活到異地多活,所以必須要有強大的云上云下一體化超大規模資源管理的能力;2019 年阿里巴巴實作全面云化之后,又開始面對一個新的超大規模資源管理場景:混合云,

運維效率

業務發展瞬息萬變,特別是公司的重要業務,迭代變更的速度非常快,在超大規模集群管理的前提下,為了保障業務的連續性和快速迭代,我們需要有能力持續高效地對應用進行發布、部署、變配等運維變更,這也就是 DevOps 的持續運維領域要去解決的問題,

運維安全

安全性是任何行業的基礎,在 IT 運維領域更是如此,系統宕機、資料例外、資料丟失、刪庫跑路等運維故障和事件層出不窮,這可能給企業帶來致命的打擊,甚至關乎業務的生死存亡,因此,防范和杜絕高危運維故障是 DevOps 一直不懈追求的目標,在當代眾多業務形態和云技術架構下,如何保障企業 IT 運維的安全運行至關重要,

業務連續性

在阿里巴巴傳統的監控和運維模式下,應用的運維開發需要在監控系統上配置一些監控項和預警規則,當監控項觸發預警規則時,運維開發會收到預警通知,緊接著運維開發需要打開電腦,在運維工具平臺上創建相應的處理工單,當運維系統工單執行完成后,運維開發要持續觀察監控項是否回歸正常,若遇到節假榷訓休假期間接到預警通知,不能及時上線查看情況時還需要聯系團隊其他同學上線處理;若在半夜睡夢中接到預警通知,需要立馬清醒下自己的大腦,打開電腦上線處理,整個預警例外處理程序持續時間較長,并且需要人為參與的作業很多,人力成本大,這使得運維開發的作業幸福感很低,

另一方面,隨著業務地不斷發展,系統也在不斷增加,監控項和預警也急速增多,慢慢地運維開發就會對預警資訊變得麻木或輕視,容易錯失一些重要的報警資訊,進而導致線上業務故障,近年來,淘寶直播、盒馬線下門店、餓了么外賣、釘釘在線教育等新業務形態蓬勃發展,這些業務基本上對生產故障都是零容忍,原來系統最佳的 99.99%可用性已經不能滿足新業務的要求,而傳統的監控、運維各自為戰、單打獨斗的模式更無法滿足新業務 100%業務連續性的要求,

解決思路

為了保證生產業務的連續運行,提高業務系統從例外預警到例外恢復的整體效率,解放人力成本的同時又能確保安全,我們考慮將監控預警和運維執行聯動起來,視為一體,從而實作例外自動發現、自動快速定位以及自動快速恢復的目的,達到一種“No Ops”狀態的應用運維,

在應用監管控一體化建設之前,傳統的監控和運維是分開的狀態,運維開發想要在應用迭代變更期間關注系統運行態勢,需要事前在監控平臺上定義和配置好這些應用所要關注的各項指標,在應用變更期間需要不斷主動查看應用監控指標的變化,或者為每個指標設定預警規則,通過訂閱接收配置好的監控報警來及時獲取應用的運行例外,當應用變更出現例外報警后,運維開發需要看監控、應用日志、應用呼叫鏈路等資訊分析例外原因,決策需要到運維平臺上執行什么任務才能恢復,最后驗證任務執行結果是否符合預期,因此,明確需求->配置監控指標和報警->分析例外原因->決策處理方式->執行任務->驗證執行結果,整個程序都需要運維開發的介入,

image.png
image.png

解決方案

以保障業務持續性為源動力,在逐步推進監管控一體化建設程序中,阿里巴巴從實戰經驗沉淀出一套業務系統安全工程標準,實作了業務例外故障提前發現、自動定位、快速恢復地自動聯動,在監控、運維、安全防護領域探索出了多樣化的解決方案,

安全防護

在推進 DevOps 的程序中,我們要求的底線是不能對既有的現狀帶來更多不可控的因素,特別是高危場景的防護,不能因為運維作業移交到運維開發人員而造成全域系統性風險,因此安全防護方案孕育而生,

全景監控

監控是運維的基礎,傳統的資源監控或者應用監控模式已經不能滿足運維開發快速發現生產故障的需求,基于阿里的大規模實踐,我們發展出了以應用為中心,從上層業務到 PaaS 直至底層資源的全鏈路監控解決方案,為業務例外發現和定位提供了強有力的支撐,

多樣化運維

為了實作監管控一體化,促進業務例外能快速自動恢復,應用運維從原來的單事件執行模式,探索出以應用為中心的可編排運維、智能化運維、ChatOps 等運維模式,打開運維領域新視角,

總結

阿里巴巴應用運維監管控一體化的建設隨著業務形態和技術架構還在不斷地探索和發展,本文主要介紹了應用運維監管控一體化建設的背景和思路,我們以應用為中心,從應用監控管角度出發,通過全視角監控實時掌握應用的運行狀態,通過高效發布部署和靈活的運維編排對應用進行安全變更,通過智能化運維和安全防護實作應用的高級防護,我們將在下面的章節為你詳細展開,

【關于云效】

云效,云原生時代一站式BizDevOps平臺,支持公共云、專有云和混合云多種部署形態,通過云原生新技術和研發新模式,助力創新創業和數字化轉型企業快速實作研發敏捷和組織敏捷,打造“雙敏”組織,實作 10 倍效能提升,

立即體驗

轉載請註明出處,本文鏈接:https://www.uj5u.com/gongcheng/421840.html

標籤:其他

上一篇:阿里巴巴監管控一體化運維|阿里巴巴DevOps實踐指南

下一篇:當我的TRIGGER觸發時,資料庫行不會更新。--"#1242-子查詢回傳多于1行"

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • Git本地庫既關聯GitHub又關聯Gitee

    創建代碼倉庫 使用gitee舉例(github和gitee差不多) 1.在gitee右上角點擊+,選擇新建倉庫 ? 2.選擇填寫倉庫資訊,然后進行創建 ? 3.服務端已經準備好了,本地開始作準備 (1)Git 全域設定 git config --global user.name "成鈺" git c ......

    uj5u.com 2020-09-10 05:04:14 more
  • CODING DevOps 代碼質量實戰系列第二課,相約周三

    隨著 ToB(企業服務)的興起和 ToC(消費互聯網)產品進入成熟期,線上故障帶來的損失越來越大,代碼質量越來越重要,而「質量內建」正是 DevOps 核心理念之一。**《DevOps 代碼質量實戰(PHP 版)》**為 CODING DevOps 代碼質量實戰系列的第二課,同時也是本系列的 PHP ......

    uj5u.com 2020-09-10 05:07:43 more
  • 推薦Scrum書籍

    推薦Scrum書籍 直接上干貨,推薦書籍清單如下(推薦有順序的哦) Scrum指南 Scrum精髓 Scrum敏捷軟體開發 Scrum捷徑 硝煙中的Scrum和XP : 我們如何實施Scrum 敏捷軟體開發:Scrum實戰指南 Scrum要素 大規模Scrum:大規模敏捷組織的設計 用戶故事地圖 用 ......

    uj5u.com 2020-09-10 05:07:45 more
  • CODING DevOps 代碼質量實戰系列最后一課,周四發車

    隨著 ToB(企業服務)的興起和 ToC(消費互聯網)產品進入成熟期,線上故障帶來的損失越來越大,代碼質量越來越重要,而「質量內建」正是 DevOps 核心理念之一。 **《DevOps 代碼質量實戰(Java 版)》**為 CODING DevOps 代碼質量實戰系列的最后一課,同時也是本系列的 ......

    uj5u.com 2020-09-10 05:07:52 more
  • 敏捷軟體工程實踐書籍

    Scrum轉型想要做好,第一步先了解并真正落實Scrum,那么我推薦的Scrum書籍是要看懂并實踐的。第二步是團隊的工程實踐要做扎實。 下面推薦工程實踐書單: 重構:改善既有代碼的設計 決議極限編程 : 擁抱變化 代碼整潔代碼 程式員的職業素養 修改代碼的藝術 撰寫可讀代碼的藝術 測驗驅動開發 : ......

    uj5u.com 2020-09-10 05:07:55 more
  • Jenkins+svn+nginx實作windows環境自動部署vue前端專案

    前面文章介紹了Jenkins+svn+tomcat實作自動化部署,現在終于有空抽時間出來寫下Jenkins+svn+nginx實作自動部署vue前端專案。 jenkins的安裝和配置已經在前面文章進行介紹,下面介紹實作vue前端專案需要進行的哪些額外的步驟。 注意:在安裝jenkins和nginx的 ......

    uj5u.com 2020-09-10 05:08:49 more
  • CODING DevOps 微服務專案實戰系列第一課,明天等你

    CODING DevOps 微服務專案實戰系列第一課**《DevOps 微服務專案實戰:DevOps 初體驗》**將由 CODING DevOps 開發工程師 王寬老師 向大家介紹 DevOps 的基本理念,并探討為什么現代開發活動需要 DevOps,同時將以 eShopOnContainers 項 ......

    uj5u.com 2020-09-10 05:09:14 more
  • CODING DevOps 微服務專案實戰系列第二課來啦!

    近年來,工程專案的結構越來越復雜,需要接入合適的持續集成流水線形式,才能滿足更多變的需求,那么如何優雅地使用 CI 能力提升生產效率呢?CODING DevOps 微服務專案實戰系列第二課 《DevOps 微服務專案實戰:CI 進階用法》 將由 CODING DevOps 全堆疊工程師 何晨哲老師 向 ......

    uj5u.com 2020-09-10 05:09:33 more
  • CODING DevOps 微服務專案實戰系列最后一課,周四開講!

    隨著軟體工程越來越復雜化,如何在 Kubernetes 集群進行灰度發布成為了生產部署的”必修課“,而如何實作安全可控、自動化的灰度發布也成為了持續部署重點關注的問題。CODING DevOps 微服務專案實戰系列最后一課:**《DevOps 微服務專案實戰:基于 Nginx-ingress 的自動 ......

    uj5u.com 2020-09-10 05:10:00 more
  • CODING 儀表盤功能正式推出,實作作業資料可視化!

    CODING 儀表盤功能現已正式推出!該功能旨在用一張張統計卡片的形式,統計并展示使用 CODING 中所產生的資料。這意味著無需額外的設定,就可以收集歸納寶貴的作業資料并予之量化分析。這些海量的資料皆會以圖表或串列的方式躍然紙上,方便團隊成員隨時查看各專案的進度、狀態和指標,云端協作迎來真正意義上 ......

    uj5u.com 2020-09-10 05:11:01 more
最新发布
  • windows系統git使用ssh方式和gitee/github進行同步

    使用git來clone專案有兩種方式:HTTPS和SSH:
    HTTPS:不管是誰,拿到url隨便clone,但是在push的時候需要驗證用戶名和密碼;
    SSH:clone的專案你必須是擁有者或者管理員,而且需要在clone前添加SSH Key。SSH 在push的時候,是不需要輸入用戶名的,如果配置... ......

    uj5u.com 2023-04-19 08:41:12 more
  • windows系統git使用ssh方式和gitee/github進行同步

    使用git來clone專案有兩種方式:HTTPS和SSH:
    HTTPS:不管是誰,拿到url隨便clone,但是在push的時候需要驗證用戶名和密碼;
    SSH:clone的專案你必須是擁有者或者管理員,而且需要在clone前添加SSH Key。SSH 在push的時候,是不需要輸入用戶名的,如果配置... ......

    uj5u.com 2023-04-19 08:35:34 more
  • 2023年農牧行業6大CRM系統、5大場景盤點

    在物聯網、大資料、云計算、人工智能、自動化技術等現代資訊技術蓬勃發展與逐步成熟的背景下,數字化正成為農牧行業供給側結構性變革與高質量發展的核心驅動因素。因此,改造和提升傳統農牧業、開拓創新現代智慧農牧業,加快推進農牧業的現代化、資訊化、數字化建設已成為農牧業發展的重要方向。 當下,企業數字化轉型已經 ......

    uj5u.com 2023-04-18 08:05:44 more
  • 2023年農牧行業6大CRM系統、5大場景盤點

    在物聯網、大資料、云計算、人工智能、自動化技術等現代資訊技術蓬勃發展與逐步成熟的背景下,數字化正成為農牧行業供給側結構性變革與高質量發展的核心驅動因素。因此,改造和提升傳統農牧業、開拓創新現代智慧農牧業,加快推進農牧業的現代化、資訊化、數字化建設已成為農牧業發展的重要方向。 當下,企業數字化轉型已經 ......

    uj5u.com 2023-04-18 08:00:18 more
  • 計算機組成原理—存盤器

    計算機組成原理—硬體結構 二、存盤器 1.概述 存盤器是計算機系統中的記憶設備,用來存放程式和資料 1.1存盤器的層次結構 快取-主存層次主要解決CPU和主存速度不匹配的問題,速度接近快取 主存-輔存層次主要解決存盤系統的容量問題,容量接近與價位接近于主存 2.主存盤器 2.1概述 主存與CPU的聯 ......

    uj5u.com 2023-04-17 08:20:31 more
  • 談一談我對協同開發的一些認識

    如今各互聯網公司普通都使用敏捷開發,采用小步快跑的形式來進行專案開發。如果是小專案或者小需求,那一個開發可能就搞定了。但對于電商等復雜的系統,其功能多,結構復雜,一個人肯定是搞不定的,所以都是很多人來共同開發維護。以我曾經待過的商城團隊為例,光是后端開發就有七十多人。 為了更好地開發這類大型系統,往 ......

    uj5u.com 2023-04-17 08:18:55 more
  • 專案管理PRINCE2核心知識點整理

    PRINCE2,即 PRoject IN Controlled Environment(受控環境中的專案)是一種結構化的專案管理方法論,由英國政府內閣商務部(OGC)推出,是英國專案管理標準。
    PRINCE2 作為一種開放的方法論,是一套結構化的專案管理流程,描述了如何以一種邏輯性的、有組織的方法,... ......

    uj5u.com 2023-04-17 08:18:51 more
  • 談一談我對協同開發的一些認識

    如今各互聯網公司普通都使用敏捷開發,采用小步快跑的形式來進行專案開發。如果是小專案或者小需求,那一個開發可能就搞定了。但對于電商等復雜的系統,其功能多,結構復雜,一個人肯定是搞不定的,所以都是很多人來共同開發維護。以我曾經待過的商城團隊為例,光是后端開發就有七十多人。 為了更好地開發這類大型系統,往 ......

    uj5u.com 2023-04-17 08:18:00 more
  • 專案管理PRINCE2核心知識點整理

    PRINCE2,即 PRoject IN Controlled Environment(受控環境中的專案)是一種結構化的專案管理方法論,由英國政府內閣商務部(OGC)推出,是英國專案管理標準。
    PRINCE2 作為一種開放的方法論,是一套結構化的專案管理流程,描述了如何以一種邏輯性的、有組織的方法,... ......

    uj5u.com 2023-04-17 08:17:55 more
  • 計算機組成原理—存盤器

    計算機組成原理—硬體結構 二、存盤器 1.概述 存盤器是計算機系統中的記憶設備,用來存放程式和資料 1.1存盤器的層次結構 快取-主存層次主要解決CPU和主存速度不匹配的問題,速度接近快取 主存-輔存層次主要解決存盤系統的容量問題,容量接近與價位接近于主存 2.主存盤器 2.1概述 主存與CPU的聯 ......

    uj5u.com 2023-04-17 08:12:06 more