昀哥 20191109
我們做大資料很早，2011年、2012年就開始了，到現在基本形成了一整套完整的資料中臺體系，大資料基本為這三件事服務：
1.決策依據和經營分析
2.運營調度
3.外部機構盡職調查和穿刺
各個公司各條業務線對資料高度敏感，尤其是打仗（有仗打仗，沒仗造仗）的時候基本上是實時調度，加之公司多，資料來源多，機房多，交易量大（每日1000+萬），實時性要求高，所以需要一套行之有效的資料中臺來支撐，
首先，我們把大資料技術領域劃分為六塊，如下圖所示，
-
元資料管理：分為技術元資料和業務元資料，技術元資料描述資料倉庫技術細節，業務元資料從商業和業務的角度描述資料倉庫中的資料，使業務人員更好地、全面地理解資料倉庫中分析出來的資料，其中最經典的場景就是血緣（動態）分析，
-
協作調度：不管是離線計算，還是實時計算，都需要一套調度和管理系統來幫助資料倉庫工程師平滑地完成測驗環境、生產環境的計算任務的打包、提交、測驗、核驗資料和發布，
-
自助分析：也可以叫即席查詢，具有一定經驗的運營人員或資料分析師可以利用自助BI系統完成資料提取、資料分析和展示，所見即所得，
-
資料可視化：指的是預先通過可視化系統配置好的各種監控大屏和經營分析報表，
-
運維監控告警：對集群組件安裝和升級，對資料遷移，對集群運轉情況，需要有一個能讓運維人員和資料倉庫工程師解脫出來的解決方案，
-
資料資產管理（含資料質量）：在元資料管理基礎之上，第一層需要資料質量保障，即有一套明確的保障機制，對生產出來的資料做校驗，確保資料無誤，否則就要找到資料失真的原因并告警，第二層是梳理盤點資料資產，準確計量資料資產，準確掌握資料資產的開放情況，形成治理倍訓，
其次，我們的資料中臺在最近兩年發展得更有體系了，這與公司裂變、業務規模激增引發的，當然也跟我們高屋建瓴、高舉高打分不開，
如果分層來劃分的話，可以把作業成果分為業務交付和程序管控兩啪，如下圖所示，
簡單做一個系統概述和技術堆疊說明：
業務交付：
-自助報表：自窩窩以來我們就有一套向導式的報表自助配置系統，絕大多數經營分析報表（一般是T+1資料匯總和明細）都是這么配置出來的，有匯總有明細有圖有表有篩選有排序有匯出，
-數屏：一種高逼格資料應用，它的目標是通過圖形化界面快速搭建可視化監控大屏，數屏可以提供豐富的可視化資料組件，滿足業務監控、會議展覽、投資咨詢等多種業務的展示需求，尤其要滿足PC瀏覽器或者手機瀏覽器訪問下的自適應布局，
-資料開放實驗室：一種即席查詢和自助分析系統，它的目標是將我們收集到的各種資料，授權下游企業使用，通過即席查詢定義API，通過API獲取資料，并進一步做可視化分析，制作報表，它的用戶既有企業內部用戶，也有企業外部用戶，
-天演：不懂SQL或是資料庫結構的非技術人員，讓他們能自由地上傳臨時資料、關聯授權資料、探索資料，回答自己的問題，建立自己的個人資料作業臺，有圖有表能下鉆，從宏觀到微觀，也因此資料查詢互動速度要足夠快，選Druid，杠杠的，
程序管控：
-魔盒：既然業務開發有研發協作平臺、資料庫自動化運維平臺和運維自動化平臺，那么大資料開發也肯定需要有一個協作平臺，所謂協作平臺，指的是圍繞著四個核心概念（資源，資料，流程，操作）構建一個體系（資源能看見，流程能流轉，資料能共享，操作有記錄），流程驅動資料和資源，操作可視化和可追蹤，形成倍訓，底層實際是Azkaban，
-移山：異構資料源之間的資料遷移自動化平臺，它旨在解決第三方資料接入、實時資料（單向/雙向）同步、大資料集群間的資料遷移等問題，本質上是Canal和Kafka，
-磐石：基于Ambari的運維監控告警系統，
-能量塊：元資料管理系統，
資料中臺在整個大中臺的位置如下圖所示，
上面這套大中臺體系，我們已經運轉自如，大勢已成，
-EOF-
歡迎關注公眾號：老兵筆記
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/232936.html
標籤：其他
上一篇：centOS7安裝mysql8.0完美教程！！只要按照步驟，無腦操作，一次成功！
下一篇：ORA-27468: ""."" is locked by another process