中臺出現的背景
從技術上來看，隨著業務的發展，很多企業在前期搭建了很多的IT系統，系統間像煙囪一樣相互獨立，在面對著越來越復雜的業務，越來越多的資料，企業IT在擴展舊系統上出現了一定的局限，從而產生不斷的重復建設的問題，企業需要制定數字轉型改革的戰略，來解決復雜業務系統之間的解耦問題，從而降低產品各個模塊的依賴，提高復用程度，
從管理架構上來看，隨著公司業務的不斷壯大，每個團隊都需要技術，產品，市場等方面的基礎支持，各個團隊開展業務時需要的支持有很大程度上的重復，但是由于從制度上每個業務部門都是進行獨立考核的，導致業務部門往往從自身利益出發，互相之間爭奪資源，隔閡不斷上升，資源無法高效利用，
企業在這樣的背景下，需要尋求可以打破這樣困境的方法，在2015年，在業務的快速擴張，阿里巴巴同樣也面臨相同的困境，阿里巴巴借鑒前人的一些方法，提出資料中臺的概念，從組織架構上，不再采用具體的業務模塊下分設事業部的方式，而是將細分事業部打亂，根據具體業務將其中一些能夠為業務線提供基礎技術，資料等支撐部門整合為 “共享事業部”，目的在于有效地利用共享資源，為一線業務提供支持，阿里巴巴內部在技術上也做了一定的調整，通過ESB(Enterprise Service Bus)來實作SOA(Service Oriented Architecture)的企業級資訊系統基礎平臺，降低不同模塊開發團隊間的協同成本，業務相應更快速，打造“大中臺，小前臺“體系架構，統一為業務線提供支持和幫助，
理解資料中臺
資料中臺是企業資料產品和資料服務的搭建和實施的方法論，資料中臺不僅僅是工具，它還包括系統架構、資料圖譜、資料質量、組織架構、規范流程等一切與企業資料價值相關的建設體系，它通過一系列方法和體系來為業務系統提供計算和分析服務，
不同行業的經營策略和資料場景千差萬別，所涉及的系統和工具也非常多選擇，同一行業不同企業對于資料架構的建設思路也不盡相同，這就導致了每一家企業的資料中臺不能通過簡單復制，但是對于企業在資料中臺的體系建設和管理規范流程，都是有規矩可循，可以尋求相似的方法，
怎么建設資料中臺
資料中臺整體的建設方案涉及到資料產品，方法論及資料服務的整體的輸出，可以從以下幾個方面來描述：
1. 資料技術搭建，
資料技術搭建包括資料架構的搭建以及資料模型的搭建，資料架構的搭建包括底層架構，資料存盤平臺，資料分析工具的搭建等，資料模型搭建包括業務調研，以及模型設計與開發，
1.1 架構搭建
在我們進行資料運算之前，我們需要先搭建適合資料分析的軟硬體環境，基礎架構的選擇，如服務器應該用私有云，公有云還是自建機房，系統需要處理的資料是離線資料還是實時資料，資料存盤型別是關系型還是非關系型，如何選擇基礎軟體，資料存盤工具，資料處理工具，資料展示工具等，工具的選擇有非常多種，沒有優劣之分，需要跟據企業自身的環境來選擇合適的工具，
1.2 資料模型
1.2.1 業務調研
需要由企業策略部門來分析這些資料應該支撐怎樣的決策，會從哪些方面來進行分析，再細致到確定哪些業務指標，資料指標的定義，業務場景，以及指標建設的價值，根據指標的業務口徑，來確定指標的技術口徑 ，在存盤層面需要用到什么樣的表和欄位，程序中使用怎樣的計算公式進行計算，對指標的業務定義進行技術層面的轉換，經行資料計算的原型設計和評審，
1.2.2 模型設計
本文主要參照Inmon 企業資訊工廠，Kimball 的維度建模, 阿里的OneData建模理論等來闡述資料模型的設計，采用三層建模的方式進行資料的組織存盤，分為ODS(操作資料層)，CDM(資料公共層)、ADS(應用資料層)，
ODS層(操作資料層)：
又叫資料登臺區，把來源于其他系統的資料，幾乎無處理的存放到資料中臺，把結構化和非結構化資料抽取和存盤到資料ODS層，把有必要轉換的非結構化資料轉換為結構化資料，對資料做一些必要的清洗和歷史資料沉淀，
CDM層(資料公共層)
又細分為DIM層（公共維度層），DWD層(明細寬表層)和DWS層(公共匯總層)，
DIM層(公共維度層)采用一致性維度規范來進行建設，維度表中維度屬性在不同物理表中的欄位名稱，資料型別，資料內容保持一致，維度可以做適當的合并和拆分，維度中描述業務相關性強的欄位合并在一個物理維表中實作，如品牌和品類，無強相關性，但有一定業務聯系的屬性可以適當考慮放在雜項維度，對于維度屬性過多，記錄數過大的維度可以適當拆分，
DWD層(明細寬表層)
明細寬表層包含事務型事實表，周期快照型事實表，累計快照事實表，事務性事實表主要用于分析行為與追蹤事件，代表業務程序中的行為細節，周期快照型事實表用于分析事物的狀態和存量事實，以預定時間來采樣事實的狀態，累計快照事實表是指多個業務程序聯合分析的事實的累計情況，如不同事件的時間間隔，支付時長，發貨時長，退款時長等；
DWS層(公共匯總資料層)
公共匯總層基于明細寬表層的資料進行一定程度的匯總和加工；
ADS層(資料應用層)
主要存放為應用而加工的個性化指標和維度，主要來源于CDM層，比如復雜的指標的預處理(比率型指標，排名指標等)，以及基于應用的表處理，行列轉換等，
基于這些資料處理的程序，資料再以各種形式提供給資料應用層來使用，
2. 資料資產管理，
資料資產管理是把資料當成是企業所擁有的資產一樣來進行管理，包括元資料管理(其中會有資料圖譜，血緣分析，影響分析等)、資料質量管理、資料生命周期管理，
2.1 元資料管理
資料中臺來源資料多樣，多源，多域，通過資料的清洗、分類、拉通、整合、匯總等，資料的使用者需要有一份清晰的資料資產目錄，從而了解資料的來龍去脈，對資料的使用有更清晰的認識，支撐資料的抽取，加工，發布，維護，歸檔等步驟的生命周期程序的管理，元資料管理會把企業的資料由源頭，入庫，計算，應用的整個處理程序進行梳理和管控，
2.2 資料質量管理
資料質量管理指的是在資料加工鏈路的所有重要環節中需要對資料的質量做評估和控制，根據資料的處理特性來采取相應的資料質量校驗，資料質量必須包括幾個方面：1)完整性 2）規范性 3）一致性 4) 準確性 5) 一致性 6)及時性，通過對資料質量的統一規范的定義,按照定義的標準，對資料中臺處理程序中所涉及到的資料進行檢查，從而實作資料質量進行評價和量化，資料質量管理是資料應用的必要步驟，資料應用必須以保證資料是準確，完整的為前提，
3. 資料服務，
一切資料加工和計算都是為資料服務而建立的，資料服務包括資料分析服務和資料應用服務，資料應用服務如生意參謀和阿里指數是資料中臺中面向商家端提供的資料服務，資料處理的結果通過各種形式的資料呈現，來幫助企業管理層和業務部門進行商業決策，
轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/42174.html
標籤：大數據