昀哥2020年12月5日
一 大家總是高估技術進步的速度低估技術的復雜度
多活，多資料中心，聽著很起勁，但是……現實很殘酷，
我來帶大家回憶一下，
2015年8月12日天津港大爆炸，當時騰訊天津資料中心距離爆炸中心點僅有1.5公里（如下圖所示），它是騰訊當時在亞洲最大云計算資料中心，2010年剛剛投入運行，共計8萬平方米，約20萬臺服務器，騰訊內部稱它為“天津資料備份中心”，承載了微信、即時通訊等業務的部分資料需求，
（爆炸沖擊波巨大）
（爆炸中心周圍的企業分布）
當時巨大的沖擊波使得這個資料中心的“柴油發電機的門，墻都扭曲了，非常危險”以及“整個冷機系統宕機，冷凍水管爆管，地下水發生嚴重水浸”，作業人員也因為人身安全而不得不撤出現場，如果這個資料中心出現意外，很多存盤在這個資料中心的資料都沒了，包括你的朋友圈資料，當時騰訊也沒有做備份（可不，本身就是備份，備份差點兒被炸），
（第二天也就是8月13日，員工們又帶著N層N95口罩回傳了資料中心）
在這以后，資料安全問題得到了騰訊重視，有人給馬化騰提出建議，可以在貴州建一個大資料的災備中心，因為貴州有很多優勢：水電充足，電力很便宜；它有很多山洞，恒溫恒濕，所以后來騰訊又在貴州專門建立了新的，更大規模的資料中心，
2015年的支付寶也沒好到哪里去：
2015年5月27日，因市政施工挖斷支付寶杭州資料中心光纜，雖然支付寶的單元化架構容災基本成型，但還是碰到很多實際問題，花費了數小時完成切換、恢復服務，雖然資料沒有出錯，但對于這樣體量的公司來說，服務不可用的社會輿論影響也是非常大的，
所以527這個數字，成為螞蟻技術人心中懸著的那顆苦膽，5月27日才被定為螞蟻的技術日，來時刻警醒要敬畏技術，不斷打磨技術，
再后來，螞蟻在2018年云棲大會上現場演示了三地五活“剪網線”（如下圖所示），達到了中國互聯網的頂尖水平，
（現場演示的操作界面）
到了2017年5月9日，餓了么CTO張雪峰才宣布餓了么多活（Multi-Active IDCs/Regions）取得成功，實作首次多活生產環境全網切換（灰度），張雪峰還稱，據他所知，國內日均（非峰值或大促期間）訂單100萬筆以上的交易平臺，除阿里巴巴真正意義上實作了全網多活（不是雙活），截止到當時應該還沒有第二家可以完全做到，
在他看來，異地多活的難點在于技術和實施，技術上，最重要的是實時資料強一致性，尤其對于外賣配送這種即時性非常強的業務場景來說，實施上，最大的挑戰在于給高速飛行（快速產品迭代）中的飛機換發動機，
所以說2018年我們獨立自主實作了異地雙活，可以秒級按商戶、按城市、按省、按機房、按設備隨時切換商戶流量，商戶、用戶和收銀設備無感知，還真的不算晚，
二 有方案，和，敢不敢切換，是兩回事
一說到2015年天津港大爆炸危及1.5公里外微信資料中心的資料安危，一說到2015年5月27日支付寶杭州資料中心光纜被挖斷導致支付寶花費了數小時才完成切換恢復服務，有人就開心地說銀行業二十年前就做到了，我也不知道做到啥了，多資料中心？多活？
銀行系統雖然很早以前（最早可都是二零零幾年）就建立起了完善的災備系統（注意是“災備”，不是“多活”），但是由于平常沒有做過系統演練，當真正災難性事件出現的時候，誰都不敢輕易切換系統，生怕切換后再也切不回來，
這樣的事情屢屢發生屢見不鮮：某股份制商業銀行系統宕機業務暫停一天的重大事故與容災中心沒有完全建好、行長不敢下令將業務系統切換到容災系統有關，十年前，甚至可以說五年前，中國金融機構業務連續性管理的主要作業仍停留在IT系統災難恢復的技術層面上，
下面講三個案例，
第一個，2010年2月3日，從上午十點多到下午15:30，民生銀行全行系統癱瘓，故障持續四個多小時，
當時有人在推特上介紹說，這次事故源于IT部門某應用系統資料庫（應該是Informix，資料庫版本老舊且無正常維護服務），一個應該在夜間處理的長任務，運行到銀行開門也未結束，該系統正常時的CPU使用率就已經到達70-80%，長任務從夜里一直跑到上午無法停止，把本來就不堪重負的業務系統拖慢到不能忍受，由于資料庫版本EOS（即End of Service），所以沒有廠商實驗室的工具支持，無奈之下，重啟相關系統，結果導致業務停止，所以在這種情況下，多資料中心又有啥用，負載這么高，切哪兒哪兒崩，
第二個，2013年6月23日上午，工商銀行柜臺、ATM、網銀業務出現故障，持續近1個小時，作為當時服務2.92億對私客戶及400多萬對公客戶的全國金融服務巨頭，工行此次故障波及北京、上海、廣州、武漢、哈爾濱等多個大中型城市，以下簡稱“6·23事件”，當日，工行將該事故對外模糊描述為：“中國工商銀行部分地區因計算機系統升級原因造成柜面和電子渠道業務辦理緩慢，”這也是迄今為止工行就6·23事件向用戶發布的唯一公開解釋，
如上圖所述，工商銀行資訊科技部就6·23事件正式作出內部通報，這份通報稱，工行資料中心（上海）主機系統出現故障，是由于IBM提供的主機DB2V10版本記憶體清理機制存在缺陷而引發，那么我想問多資料中心呢？
原因很簡單，2013年的時候工行還沒有一鍵切換能力呢：
2004年，工商銀行在國內同業中率先建立起“兩地兩中心”的資料中心異地災備架構；
2009年，工行啟動“兩地三中心”資料中心新架構研究；
2014年，上海嘉定同城資料中心正式投產啟用，工行在同業界率先成功實作資料中心同城雙中心全業務切換運行，標志著“兩地三中心”工程初見成效；
2014 年11 月，工商銀行首次采用臨時通知的方式，成功實施同城核心系統切換運行，實施程序采用“一鍵式”切換工具，主機核心系統切換時間控制在分鐘級，
明白了嗎？有災備，和，敢不敢切換，是兩回事，跟異地多活，跟2018年螞蟻演示的“三地五中心”“剪網線”，更是兩回事，
第三個，2011年4月12日下午，韓國最大的銀行農協銀行（NH Bank）的業務全網癱瘓，故障一直持續了3天，直到4月15日才恢復部分服務，而有些服務直到4月18日仍然沒有恢復，以至于銀行不得不采用傳統的手寫交易單的方式進行服務，
據農協銀行作業人員、韓國檢察官、金融監督院以及中央銀行調查員的初步調查，4月12日下午4:30到5點之間，“某人”通過外包團隊中一位雇員的筆記本對銀行核心系統的275臺服務器下達了 rm.dd 命令，該命令會洗掉服務器上的所有檔案，被洗掉的服務器包含重啟系統用的服務器，結果就是當天下午5:30左右開始，該銀行在全國1154個分行的服務中斷，
rm.dd是最高級別的系統命令，只有擁有最高安全權限的Super Root用戶才有權限執行，而且僅限銀行內網的特定IP段，
在事故程序中，位于良才的中繼代理服務器以及位于安城的災備服務器全都失效了，結果就是只能通過給553臺服務器重裝系統來恢復服務……&￥%！
筆記本的所有者表示洗掉命令絕非自己所下達，事發當時，該員工的筆記本放置在銀行的辦公室內，根據當天監控視頻，有20個人有機會接觸到這臺筆記本，這20人當中確有一人擁有Super Root權限，
但是，也不排除有黑客從外部互聯網連接到這臺筆記本，再通過這臺筆記本做跳板對服務器下達指令的可能，因為該筆記本在當天的24小時內與外網是連通的，
在這次事件中，災備起作用了嗎？沒有，災備都被人給干掉了，
參考：
1，https://www.sohu.com/a/354590436_258957，銀行網掛了，會怎樣？建行災備，神操作！
2，https://www.cnbeta.com/articles/tech/140639.htm，從韓國農協銀行癱瘓再看安全與災備的重要性
3，https://www.chiphell.com/forum.php?mod=viewthread&tid=808335，工行內部通報6.23系統故障 系IBM軟體缺陷引發
4，https://www.sohu.com/a/78018744_259978，馬化騰：去年天津大爆炸，曾讓騰訊最大的資料中心
5，https://www.cisco.com/web/CN/partners/industry/pdf/finance_solutions_19.pdf，思科對銀行災備總結的PPT
6，https://zhuanlan.zhihu.com/p/48689251，從“挖光纜”到“剪網線”|螞蟻金服異地多活單元化架構下的微服務體系
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/231370.html
標籤：其他