在7月28日的袋鼠云2022產品發布會上，基于對現在與未來的暢想，袋鼠云產研負責人思樞正式發布了全新的四大產品體系，
其中的數堆疊DTinsight，相信大家都很熟悉了，不同于數駒這位新朋友，數堆疊作為袋鼠云和大家經常見面的“老朋友”，在保持初心的同時，這次也有了一些不一樣的變化，
作為袋鼠云打造的一站式大資料開發與治理平臺——數堆疊DTinsight，包括離線資料開發、實時資料開發、資料服務、資料資產四款產品，在資料采集、加工、統一服務的基礎上，將全域資料資產匯聚、資料治理融合其中，極大地縮短了資料價值的萃取程序，提高企業提煉資料價值的能力，
以下為思樞演講全文：
接下來我來為大家介紹一下“老朋友”數堆疊DTinsight，如何面向資料提供一站式資料開發與治理能力，幫助企業實作資料價值呈現，
一、驚喜變化 數堆疊全新起航
早期企業在進行資料價值化建設程序中，為了更好的服務上層業務需求，從業務需求出發，驅動后端業務系統及對應資料庫建設，這在一定程度上滿足了上層業務需求，但隨著業務需求的增多，業務復雜性的增加，相關的問題也暴露了出來：如超過TB級以上海量資料的分析能力差，各個業務板塊資料進行融合分析難度高，面向多變市場的靈活性業務需求難滿足等，
原有的基于業務需求快速迭代開發而形成的煙囪式業務系統，無法滿足當下數字化場景需求，迫切需要一個能夠處理多源異構資料源、PB級資料存盤、強大分析引擎、標準資料規范，且靈活便捷的全新“系統”，而數堆疊DTinsight也由此而生，
數堆疊DTinsight，對標一站式資料開發與治理，在面向多源異構資料源時，通過資料匯聚能力實作全域資料打通，而后通過數堆疊多年經驗形成的資料治理方法論，在資料開發程序中，形成資料資產，完成資料治理作業，并通過資料服務能力，將高質量的資料高效共享，為報表分析、決策分析等提供資料支撐，賦能各行各業，
在整個程序中數堆疊聚焦資料問題，打通資料鏈路，將全域資料資產匯聚，統一資料治理融合其中，縮短資料價值的萃取程序，增強企業提煉資料價值的能力，為企業提供一站式解決方案，
請大家看數堆疊的產品架構圖：
在數堆疊整個產品的設計程序中，主要分為四大模塊，分別是用于批任務的離線開發平臺、用于實時任務的實時開發平臺、用于資料治理的資料資產平臺、用于資料服務的資料共享服務平臺，
整個數堆疊通過集成自研的資料集成框架ChunJun對接30+異構資料源，包括傳統的關系型資料庫、NoSQL資料庫HBase、檔案資料庫MongoDB、國產資料庫達夢等，將資料統一存盤在數駒或其他大資料平臺，包括開源Hadoop體系以及商業版CDH、TDH、FI等，也可以存盤在數倉引擎中包括GP、TiDB等，而后在這之上開展基于DataOps理念的資料價值化流程，
同時數堆疊各個板塊基于解耦化的設計，能夠基于客戶需求靈活搭配，如離線+API完成傳統數倉體系搭建，離線+資產+API構建資料治理體系，實時+API構建實時數倉等，
在這里也重點講下數堆疊在DataOps理念下的實踐，DataOps是一種協作式資料管理的實踐，致力于改善組織中資料管理者與使用者之間資料流的溝通，集成和自動化，
資料開發同學在完成一個ETL任務的程序中，一般需要經過資料源的準備—資料同步—資料檢查—資料處理—資料校驗—資料分析這6個步驟，在這程序中：
● 持續開發
數堆疊提供了SQL IDE、Gitlab等開發工具，來支持敏捷的資料開發任務；
● 連續測驗
數堆疊提供豐富的sql測驗集和性能測驗，達到保障資料準確性的作用；
● 持續部署
數堆疊提供一鍵式測驗任務到生產任務的發布和大規模作業流的自動化編排；
● 資料治理
數堆疊提供元資料的自動化生命周期管理和全鏈路的資料血緣決議，
二、五大特性 數堆疊核心理念
說了這么多，接下來重點聊聊數堆疊的產品特性，主要包含以下幾點：
● DataOps
基于DataOps設計理念，數堆疊實作了資料全生命周期的質量監管和資料開發流程規范，為資料治理保駕護航；
● 資料還原
數堆疊不僅僅能夠實作資料實時同步，也能實作源端資料結構到目的端的實時還原，真正做到資料復現，完整統一；
● 金融級安全
資料的全域打通在加快了資料價值化呈現行程的同時，也放大了資料安全隱患問題，數堆疊基于系統安全、資料安全、服務安全和行為審計四大維度，實作資料安全管控，操作有跡可循，避免資料泄露，保證資料安全高效地共享服務；
● 全域資料治理
通過打通資料壁壘，建立基于統一資料標準和資料模型，監控資料質量，形成高質量的資料資產，為上層業務提供便捷的資料服務，并能生成質量報告，不斷優化資料，持續賦能數字化場景；
● 兼容開放
數堆疊秉承開放兼容的設計理念，兼容多種底層計算引擎包括開源Hadoop體系、商業Hadoop版本和多種數倉引擎，在國產信創道路上兼容多種國產作業系統、國產資料庫、國產服務器以及國產芯片，同時本著基于開源回饋開源的思想，數堆疊也將核心組件進行了開源，包括資料集成框架ChunJun、百萬級調度引擎Taier，
三、賦能業務 數堆疊應用場景
說完產品特性，接下來通過介紹三個數堆疊的實際應用場景，以點及面地幫助大家更好得理解數堆疊，
數堆疊X金融場景
我們都知道隨著移動APP的興起，我們的金融交易不再局限于銀行柜臺，通過手機就可以實作各種各樣的金融活動，這加大了金融交易的安全隱患，社會上因金融詐騙而被騙取錢財的新聞屢見不鮮，如何保證在海量金融交易程序中，進行金融交易行為的風險評估，保證消費者的權益是時下金融客戶急需解決的問題，傳統的資料分析模式，因資料標準不統一、資料質量差，導致資料分析邏輯復雜，耗時周期長，無法做到及時反饋結果，等發現時已為時已晚，
袋鼠云幫助金融客戶借助數堆疊一站式資料開發與治理的能力，匯聚金融各種交易資料，構建金融的實時數倉，實作資料分析的毫秒級回應，讓消費者在享受金融交易便捷性的同時，無感分析交易風險，避免金融詐騙等高危操作，同時對交易行為進行實時推送、例外行為實時預警，助力安全金融的構建，
數堆疊X水務場景
我們知道在夏季，一些河流較多的城市容易發生洪澇，一旦降雨增多，還會附帶泥石流等災害因素，對應的各級政府在雨季對于洪澇搶險救災一向是時刻關注，但傳統的監控無法做到精準的災害預警和災后的應急回應，造成大量的國家資產損耗，甚至是人員傷亡，
袋鼠云數堆疊基于河流以及環境監測資料等，制定事前、事中、事后三步走策略，通過事前實時監測，包括降雨、水位等，實時將資料反饋到監控大屏中；然后在事中進行實時預測，包括降雨預測、災害預警等，將未來可能發生的事情實時展示到大屏中，為災害做好預防準備，及時通知人群疏散，最大程度避免人員傷亡；最后實作事后回應，對當前災情進行統計分析，為搶險救災提供資料決策支撐，合理調配人員安排，最大程度避免國家財產損失，
數堆疊X集團港口場景
對于一個港口而言，貨物吞吐量是衡量港口能力的一個因素，如何最大化提高港口貨物吞吐是所有港口一直在思考的問題，傳統的港口調度因各個區域的職責所屬，無法感知全港口的貨物走向，只能基于自身區域進行人員的調配和車輛的調配，實作區域內的“區域最優”，某種程度上提高了港口的貨物吞吐量，無法實作“全域最優”，
袋鼠云數堆疊從全港口角度出發，打通全港口資料資訊，感知全港口貨物走向，了解各區域貨物吞吐速率，針對“擁擠”區域，進行資源傾斜和人員調配，同時感知“未來貨物”量，及時做好資源準備，最大程度上提高全港口的人員與車輛調度能力，實作港口貨物吞吐量的最大化，讓“資訊化”港口升級為“智慧化”港口，
四、不忘初心 數堆疊砥礪前行
從2016年推出數堆疊算起，一晃眼，數堆疊已經走過了第六個年頭，未來數堆疊將繼續秉持初心，在不斷打磨自身的同時，追求更深層次的突破，
未來規劃
· 資源分配：從傳統的定值設定，到結合任務負載，進行精細化引數調節，實作更加高效的資源利用，
· 資料共享：建立按需共享模式，實作企業內的跨業態、跨部門的經驗分享，沉淀企業內的資料知識庫，滿足更高的資料共享需求，
· 資料監控：實作自動化干預資料，根據每日的任務運行情況等多維度資訊建立系統自診斷能力，及早預測、發現、干預資料問題，變被動為主動，
· 資料校驗：實作智能化規則創建，自動掃描SQL和表資訊，獲取不合規因素，自動建立合理的資料校驗規則，降低手動配置作業量，
袋鼠云開源框架釘釘技術交流qun（30537511），歡迎對大資料開源專案有興趣的同學加入交流最新技術資訊，開源專案庫地址：https://github.com/DTStack
轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/502683.html
標籤：其他