一、業務背景
1、應用場景
在多變的資料服務場景中，應用中常見如下的業務需求，通過對多種資料結構的靈活組合，快速實作業務模型構建，整體示意圖如下：
像常用的畫圖工具，左邊提供基礎圖形庫，中間是畫布，右邊是組件的控制細節，對比到這里的邏輯如下：
-
欄位面板：提供業務資料結構的欄位映射，和常規欄位型別配置，用來支撐組合面板的表單配置，
- 資料結構：對現有業務結構做映射，可能是檔案、資料表、JSON等，生成相對標準的欄位選項；
- 拓補欄位：維護一批基礎的欄位型別，用來做拓補操作，完善整個業務結構；
-
組合面板：承載欄位的組合管理，生成新的資料結構，根據業務場景，完成底層資料的抽取存盤或者API服務生成，
- 業務主體：通過業務需求的判斷，明確面板支撐的業務屬性，通過基礎結構組合新的業務主體；
- 組合結構：面板上呈現的欄位，是多個業務結構的抽取，即不同業務結構中的部分欄位組合；
-
規則面板：對組合面板上欄位進行規制設定，常見涉及：描述，型別，默認值等，對面板欄位進行相對統一的標準化管理，
- 描述資訊：對于組合面板上的欄位描述，也可以是原有映射的結果，作為新業務主體的屬性說明；
- 型別維護：復雜的環節，不同資料型別在不同的存盤中處理方式不同，需要統一維護型別存盤映射；
- 業務規則：對于新的業務主體，設定屬性的規則，可以是：唯一性，默認值，等等；
2、構建服務
基于上述功能的實作，可以快速實作以下服務能力，通常應用在業務多變的場景中：
-
資料主體構建：通過組合面板的結構生成，快速完成相關資料的抽取和存盤，作為新的業務場景中的主體資料，
-
服務API生成：在資料服務中，直接通過配置，生成API服務能力，并控制引數的回應結構，這種情況通常會以實時查詢的方式處理，
-
資料智能分析：在資料分析場景中，側重統計的結果，基于欄位和圖表結構，生成相應的統計分析任務，靈活管理分析報表，
這里是簡述相對單一的應用服務，如果把這里的流程分段放大，在整個資料服務體系下，就是圍繞元資料管理的復雜的基礎系統：圍繞資料結構映射，進行元資料標準化管理，在此基礎上二次組織資料，快速回應業務需求，在這樣的流程下，可以快速建立業務鏈路，提供高效的服務能力，降低試錯的成本，
二、元資料概念
1、基礎描述
從定義上說，元資料(Metadata)即描述資料的資料，但是在實際使用的時候，還是存在很多細分的概念，看下面的案例：用戶性別；
從細分角度看，可以對上面資料進行兩塊劃分，即業務層與技術層：
- 業務層：名稱.釋義.說明.值型別;
- 技術層：路由庫.路由表.存盤型別.值型別;
這里的分層只是描述的側重點，業務層偏向應用端，技術層偏向底層系統的互動和實作，在對性別的描述上都是核心維度，
所以從本質上看元資料，介于系統和業務中間，提供雙方都能明白的語意和邏輯，可以更加高效的支撐資料的業務價值，
2、血緣關系
上面是從單個指標看元資料的結構，如果從整個鏈路上看，就會形成層級線路，通常稱為血緣關系：
從上層業務側追溯到底層結構，形成血緣關系的概念，概念本身并不重要的，背后的核心是鏈路的管理，鏈路上的節點（中間物體）是通過多種計算手段生成；
如果某個節點資料一旦出現質量問題，則需要根據這里的鏈路關系進行逐級向底層排查，完成問題修復后，還需要根據關系向上逐級修復清洗；如此通過血緣關系進行資料質量的分析和把控，
3、業務價值
元資料管理是一個持續又漫長的程序的，任何系統的搭建都需要業務來衡量其存在的價值，其核心邏輯在于：統一標準化管理元資料資訊，規范業務層的定義，并通過技術層面快速定位資料，自動化抽取資料，靈活支撐業務應用，
-
圍繞核心業務：通常在專案初期的時候，只圍繞一些核心業務主體，使其在使用的時候靈活高效，后續在持續擴展其他能力，
-
資料成本分析：基于元資料中鏈路，分析各個節點資料的生產維護管理等成本，為資料服務中商業定價提供參考，可能直接影響服務是否可提供的決策，
-
配置可視化：在資料服務平臺中，最忌諱的一點就是靠手動去維護各種作業，不管在什么場景下，都要考慮可配置化管理，保證動作可追溯，
-
流程自動化：不管是元資料結構映射，還是配置后資料的抽取，要保證指令生成后可以自動完成該一系列動作，并完成流程監控分析，
-
資產化分析：通常會把元資料視為資料資產體系，因此圍繞元資料去統計資料的使用情況，產生的價值，以及熱點資料識別和分布，業務主體關聯度等，并輸出相應分析結果，
如果單從業務角度去看，元資料系統的存在，就是為了可以快速理解元資料，并且靈活的組織管理，以此降低服務能力的實作成本，
三、架構設計
1、系統分層
-
采集層：元資料系統中的基礎節點，架構體系的底層，維護元資料獲取通道和映射管理以及落地存盤，并實作結構管理和資料處理程序；在資料源中可能存在多種情況：數倉環境、檔案結構等，在特定情況中，還需要一定程度的手動維護進行結構拓補；
-
管理層：對于元資料核心能力打造，和相應的標準化管理，或者二次加工，資料源層面直接采集的資料通常不具備標準的業務語意，更多偏向技術側的說明和邏輯，在經過標準化維護之后，在放開給應用層之前，還需要經過質量檢測：例如作業城市，如果缺乏相應的列舉字典，顯然是不合格的，必須經過必要的處理才能放開；即管理層放開的資料需要標準化和整體維度完善；
-
應用層：基于元資料能力的應用層開發，對于實際業務場景提供解決方案和功能入口，以及相應的系統中用戶權限隔離等基本功能；
從系統分層的角度理解流程并不復雜，但是實際的實作程序簡直不堪回首，技術堆疊使用非常復雜，多個版本邏輯重構再重構，并且不斷的改進優化，最終才能實作相對穩定的服務能力，
2、元資料采集
在采集資料的時候，面對的最大問題就是多種類資料源決議適配，以及資料調度任務的抽象，必須開發對應的工具來實作各種場景的元資料決議能力：
-
決議能力：適配決議各種資料源特點，檔案格式，SQL腳本，抽象任務等，完成標準元資料的轉換沉淀；
-
型別識別：十分復雜的一個節點，型別在描述資料的時候至關重要，結構化存盤可以直接讀取，檔案類結構通常需要型別轉換標識，任務流程會直接統一管理，依次保證資料在不同環境中的合理存盤；
-
更新訊息：業務的發展中，各種資料結構是頻繁變動的，這就需要與元資料系統進行同步，通常要向訊息服務（總線）發送通知，然后觸發元資料更新動作；
核心能力：結構與型別識別決議、獲取初始化資料，并且通過訊息通知線路，完成動態更新流程的觸發，
3、元資料管理
核心能力的打造，通常在系統初期都是圍繞基本能力和業務需求的方向，以求快速落地實作，提供業務支撐能力；
-
基礎能力：標準化元資料結構，進行結構存盤和可搜索能力實作，這個節點進行統一維護，資料型別識別和轉換是至關重要的；補充說一句，在資料平臺中，都會存在型別服務系統，以提供相應的識別能力和規范不同場景下的轉換；
-
物體與關系：資料業務中兩個核心概念，物體必然由屬性構成這是常說的，物體之間維護的關系：關聯、、系結、輸出、輸入等，是構建血緣關系和資料鏈路的核心標識；
-
資料抽取：基于對元資料的組織和物體的定義，生成資料抽取規則，進而完成資料的快速獲取，后續就是對接具體的業務，例如資料存盤方式，搬運方式，最終落地業務線使用；
-
可視化分析：包括資料質量分析，鏈路與周期分析，血緣分析等，這類功能一般在核心業務能力完成之后，會按需求等級，逐步迭代實作；
通過核心能力的建設，以求實作對資料的快速定位，高效管理，靈活應用的目標，提高資料服務能力的效率，適應業務發展的多變性，
同系列：訊息中間件改造 ┃ 資料服務系統設計 ┃ 業務資料清洗方案 ┃ 數字營銷概念 ┃ 標簽業務應用 ┃
四、源代碼地址
GitEE·地址
https://gitee.com/cicadasmile
Wiki·地址
https://gitee.com/cicadasmile/butte-java-note/wikis
閱讀標簽
【Java基礎】【設計模式】【結構與演算法】【Linux系統】【資料庫】
【分布式架構】【微服務】【大資料組件】【SpringBoot進階】【Spring&Boot基礎】
【資料分析】【技術導圖】【 職場】
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/322962.html
標籤：Java
下一篇：Docker學習