1. 實時資料處理的需求場景
目前，很多企業在處理實時資料時面臨下列的需求場景：
（1） 通過資料采集平臺持續的獲取流式資料；
（2） 在獲取流式資料的同時進行實時計算；
（3） 實時計算的物件除了實時資料，還要考慮與歷史資料相結合；
（4） 采集的實時資料除了需要實時計算的部分，也有不經過計算直接進入數倉；
（5） 實時資料經過實時計算之后的結果進入數倉；
（6） 采集的實時資料直接進入數倉的內容有不會變更的日志資料，也有在一個時間視窗內持續變更的應用資料；
（7） 實時資料存盤的數倉此時還會面臨實時明細查詢的需求
（8） 實時明細查詢的物件有實時計算的資料，有應用變更資料的快照，也有實時資料與歷史資料相結合計算后的內容
2. Gartner的實時資料處理的需求框架
根據上述Gartner的定義，實時資料處理任務分三個階段：
第一階段，Real-Time Continuous Intelligence：對事件做出實時處理回應，包括指標對比，告警，趨勢分析，自動決策；
第二階段，Real-Time, On-Demand Intelligence：生成報告，支持即席查詢，延伸資料探索，記錄操作流程；
第三階段，Offline On-Demand Intelligence：離線任務，包括報告，即席查詢，實時決策，建模及長期決策；
第一階段任務主要通常通過流處理引擎進行處理；
第二階段和第三階段任務的on-demand intelligence需要強大的實時數倉實作；
這個需求框架提出了在實時資料處理中的按需智能分析的新需求，按需智能分析有兩個主要的特點：
（1） 必須有持續的變更的應用資料通過流式資料進入平臺；
（2） 持續變更的資料需要有快照視圖進行實時展示，回應客戶端的實時明細查詢；
傳統的實時資料處理框架在流式資料中主要處理的是持續的不可變更的資料，如何在架構上做出變革，以解決持續變更的應用資料，滿足實時明細查詢的需求？
3. 新的Omega全實時資料處理架構
為了實作第一章描述的實時資料處理的需求場景，并依托Gartner的需求框架，我們先從lambda和Kappa架構定義開始描述：
3.1 Lambda架構
Lambda架構 (批流分開）
Batch View = Push_function(Historical Immutable Data)
Real-time View =Push_function(Real-time View, New Immutable Data)
Query = Pull_function(Batch View, Real-time View)
3.2 Kappa架構
Real-time Batch View =Push_function(New Immutable Data, Historical Immutable Data)
融合了歷史和當前實時資料計算的結果視圖
Query = Pull_function(Real-time Batch View)
3.3 Omega架構
Omega架構是在新的按需智能需求（On-demand Intelligence)出現以后由偶數科技2021年5月提出的新一代全實時資料處理架構，
Omega架構由流資料處理系統和實時數倉構成，融合了Lambda架構和Kappa架構處理流資料的優勢，增加了實時按需智能和離線按需智能資料處理的能力，以及高效處理可變更資料實時快照的能力，
Snapshot View =Pull_function(All data)=Pull_function(Immutable Data, Mutable Data) 基于全景快照資料計算得出的結果視圖
Real-time Batch View =Push_function(New Immutable Data, Historical Immutable Data)
Query = Pull_function(Real-time Batch View, Batch View，Snapshot View)
在Omega架構中，我們看到，該架構的功能可以滿足第一章提出的實時資料處理業務場景的所有需求，
3.4 三種架構的對比
4. OUSHUDB基于Omega的全實時資料處理解決方案
在Omega架構中的實時數倉需要滿足下列條件：
? 基于云原生技術進行深度優化，采取計算、存盤分離的技術架構，充分適應云上數字化應用對高度彈性、無限擴容能力的要求，保證資料服務能力高可用；
? 面向PB級大資料，具備比MPP、SQL-on-Hadoop資料倉庫更快的查詢性能，從而明顯降低批處理、即席查詢所需的時間，保證資料服務能力的高時效；
? 完整支持ACID特性，可以保證資料在并發更新、查詢失敗等情況下保持資料的完備性、一致性和準確性，支持基于Oracle、DB2等傳統交易型資料庫的數字化應用的平滑移植；
? 具備對各類SQL標準的兼容性，如ANSI SQL-92、SQL-99、SQL-2003等，支持OLAP擴展，支持標準的JDBC/ODBC，并支持基于傳統交易型資料庫的數字化應用的平滑移植；
? 具備對自動化機器學習技術的支持能力，基于AutoML等技術，為業務人員提供自動化AI建模能力，實作AI模型全生命周期管理，降低AI研發與管理成本，
以上解決方案，主要包括三個模塊：
? 實時資料采集
Lava實作資料采集及訊息存盤(Kafka)，負責流資料的接收，
? 實時流式資料處理系統
Littleboy的Spark Streaming來完成，負責對不可變更資料的實時計算，以及資料預處理等，
? 實時數倉
OushuDB來完成，負責不可變更資料以及可變更資料的在線按需智能，以及離線按需智能，并提供快照視圖，實時批資料視圖，批視圖等，
5. 結語
Omega架構是綜合了傳統Lambda架構和Kappa架構的優勢，在Gartner提出的新的實時資料處理框架基礎上，由偶數科技提出的新的全實時資料處理架構，新架構覆寫了當前各個企業在實時資料處理場景下的核心需求，歡迎同行業探討交流，
轉載請註明出處，本文鏈接：https://www.uj5u.com/ruanti/287372.html
標籤：其他