4月20日，袋鼠云成功舉行了以“數實融合，韌性生長”為主題的2023春季生長大會，會上，袋鼠云自主研發的一站式大資料基礎軟體——數堆疊V6.0產品矩陣全新發布，對旗下大資料基礎平臺、大資料開發與治理、資料智能分析與洞察三大模塊的全線產品進行全新升級，并重點發布了企業級資料計算與存盤平臺——自研大資料引擎 EasyMR，

今年的集體學習會議上強調：“要打好科技儀器設備、作業系統和基礎軟體國產化攻堅戰，提升國產化替代水平和應用規模，爭取早日實作用我國自主的研究平臺、儀器設備來解決重大基礎研究問題，”

袋鼠云作為國內領先的數字化基礎軟體與應用服務商，自始自終堅持自主創新，專注大資料基礎軟體研發，利用先進技術賦能更多行業客戶數字化轉型，助力發掘和釋放資料資源的潛在價值，

全新發布數堆疊V6.0產品矩陣

袋鼠云產研負責人思樞首先介紹了數堆疊V6.0全新產品矩陣的落地進展以及產品升級方向，通過對多年數字化實踐沉淀的梳理、重構和升級，數堆疊V6.0形成了大資料基礎平臺層+大資料開發與治理層+資料分析與洞察平臺層的全新數字化產品矩陣，以迭代的新組合、新能力、新技術，為數實融合應用注入更強勁的“數堆疊”驅動力，

整個矩陣中，大資料基礎平臺是底座，包含全新升級的兩款產品：大資料計算引擎EasyMR 和湖倉一體EasyLake，EasyMR 主要提供 Hadoop、Spark、Flink、HBase、Trino 等一鍵式組件的安裝、運維、部署，EasyLake 則主要提供面向資料湖的統一元資料管理，及資料服務和分析，大資料基礎平臺旨在為各行業的數字化轉型提供隨時可用的強勁動力和堅實基礎，

往上看，中間層大資料開發與治理，它融合了 DataOps 資料理念，包含離線開發BatchWorks、實時開發StreamWorks、資料服務DataAPI、資料資產DataAssets和指標管理DataIndex 五大模塊，以自主可控、安全創新為技術內核，將全域資料資產進行匯聚、加?、治理、服務、分析，為客戶提供安全、穩定、易?的?資料平臺，加速釋放資料價值，賦能數智應用，

最上層的資料智能分析與洞察層，提供客戶資料洞察UserInsight和資料可視化分析EasyBI兩大應用功能，助力企業構建以業務價值為導向的資料分析與應用體系，驅動業務增長，

以下為數堆疊本次重點升級的大資料計算引擎產品 EasyMR，根據思樞演講整理而成，

EasyMR：大資料計算引擎

EasyMR 的豐富功能

EasyMR 內包含 Hadoop、Hive、Spark、Trino、HBase、Kafka 等計算組件，完全兼容 Apache 開源生態，一鍵開啟 LDAP+Kerberos+Ranger 認證權限體系，支持庫/表/行/列級權限控制，提供企業級安全管控，

EasyMR 的集群管理包括以下五大功能：

· 主機管理：可以對接x86服務器、ARM 服務器、Kubernetes 集群等主機型別，進行包括批量接入、主機下架、主機監控等在內的主機操作

· 安裝部署：包含自動部署、手動部署、補丁包升/降級、組件回滾等豐富功能

· 集群運維：包含組件啟停、健康檢查、服務日志查看等功能，以及根據客戶業務側的使用情況實作動態擴縮容

· 監控告警：隨著業務的運行，發生主機運行的例外情況，能夠實作自動告警

· 基礎管理：包括用戶管理、操作權限管理、審計日志等功能

EasyMR 的豐富功能能夠幫助企業，更全面、更智能、更安全地運用資料，加速企業數字化轉型，

EasyMR 的核心特性

● 信創國產化

EasyMR 完成了與主流信創生態廠商的適配互認作業，支持統信UOS、龍蜥、麒麟等國產作業系統，鯤鵬920、飛騰等國產芯片，長城擎天CF520、華為公有云等國產服務器的適配，以及大部分國產資料庫、國產中間件的適配，

EasyMR 的更多信創兼容情況請看下圖：

● 開源/自主可控

EasyMR 作為袋鼠云自研的大資料基礎平臺，其大資料組件100%基于開源 Hadoop，完全兼容 Apache 開源生態，與開源社區同步迭代，時刻保持技術的領先性，并且 EasyMR 對 Spark、Flink、Trino、Iceberg 等部分組件特性進行優化增強，回饋社區，以開放心態共建 Hadoop 生態，

● 運維托管服務

EasyMR 提供大資料集群監控告警、安全保障、資料質量保障以及平臺運維服務；提供定期巡檢、深度體檢、成本優化以及高階調優服務；以及提供包括大資料集群遷移、集群容災建設、架構設計規劃等在內的實施服務，全鏈路一站式運維托管服務，

● 安全

通過 LDAP+Kerberos+Ranger 這套認證權限體系，對庫/表/行/列級進行權限控制，實作企業級安全管控，

EasyMR 國產化適配：中間件，元資料庫

Hive 的子組件 Hive Metastore，在開源的方案中通過 redis 進行快取加速，而現在可以通過寶蘭德BCS 這樣的國產中間件對 redis 進行國產化替代，

Hive Metastore 本身的元資料資訊在開源方案中存盤在 MySQL 和 OracleSQL 中，現在也可以通過適配國產資料庫，如 TDSQL、OceanBase，對開源資料庫進行替代，基于此，EasyMR 實作真正的國產化，完全自主可控，

EasyMR 深知只有實作關鍵技術的自主化、國產化，才能真正實作技術創新，攻克“卡脖子”難題，

EasyMR 對大資料組件的功能增強

袋鼠云作為國內領先的數字化基礎軟體與應用服務商，十分重視強化產品的基礎能力和技術能力，在開源技術的基礎上，EasyMR 對 Spark、Flink、Trino、Iceberg 等多個大資料核心組件進行了功能及性能增強，具體優化見下圖：

僅在2022年袋鼠云技術同學就完成了上百次的 commit，為 Hadoop 生態的技術發展貢獻了屬于袋鼠云的力量，

贈人玫瑰手有余香，回饋社區的同時袋鼠云實作了對整個 Hadoop 體系核心代碼的完全自主掌握，對于 EasyMR 大資料平臺遷移、大資料組件維保等做到了100%自主可控，

EasyMR 自主研發能力：技術開源

從2016年數堆疊V1.0發布開始，到如今的數堆疊V6.0，數堆疊已經歷經了七年六個大版本的迭代實踐，隨著對技術能力的不懈探索，數堆疊內部也沉淀了一些優秀的大資料組件，如流批一體的資料同步集成組件ChunJun，DAG分布式任務調度組件Taier、大資料平臺運維組件ChengYing等，這些組件數堆疊已經全部貢獻給了Github，下面是袋鼠云開源的地址，歡迎使用，

Github地址：https://github.com/DTStack

技術無界，創新不止，袋鼠云數堆疊技術團隊連續兩年榮獲“年度優秀開源技術團隊”的稱號，ChunJun 也順利晉級“2022 年中國開源創新大賽”決賽，并榮獲“優秀開源專案/社區”獎項，這些鼓勵都源于數堆疊技術團隊出眾的產品技術能力和自主研發能力，

CDP/CDH 平滑遷移到 EasyMR 解決方案

基于國家對于國產信創的政策要求，以及 CDH 停止服務（EoS），用戶沒辦法再獲取售后支持的大背景，各行各業的大資料平臺底座需要進行國產化替代的需求越來越強烈，基于此，數堆疊支持 CDP/CDH 平滑遷移到 EasyMR 的解決方案，大大降低企業遷移成本低，

生產業務不能停，該方案支持雙軌運行，即客戶的原 CDH 集群和信創的 EasyMR 集群可以同時運行，整個遷移程序操作簡單，配置靈活，通過4步即可完成所有的遷移作業，

第一步，進行計算平臺和開發套件的替換，

第二步，進行資料遷移，包括歷史資料和元資料的遷移，在遷移程序中，EasyMR 支持資料檢驗，保證在資料遷移程序中的資料一致，

第三步，執行任務遷移，包括采集任務、資料加工任務、任務依賴關系以及分析引擎，

第四步，業務切割，包含集群的切換，及老服務器下線，新服務器上線等動作切換，最終達到 CDP/CDH 平滑遷移到 EasyMR 的目的，并且實作對客戶側的業務無感知，

EasyMR 積累了大量的遷移成功案例，經驗豐富，可以保障整個遷移程序安全可靠，

Hadoop 平滑升級解決方案

大資料組件每年的版本更新速度比較快，不少企業還停留在 Hadoop2.0 的階段，許多客戶想升級到 Hadoop3.0 版本，體驗新的特性和性能優化，但是客戶的業務在版本更新中又不能停止，這時應該怎么做？

EasyMR 可實作節點的動態替換，將一個節點先升級到 Hadoop3.0 的節點，在這個節點上印證沒有問題之后，再進行剩下節點的逐步替換，這樣就真正實作了 Hadoop 的無感知平滑升級，

EasyMR 的實踐應用

在介紹完 EasyMR 的具體功能和特性之后，下文將為大家介紹2個 EasyMR 的經典實踐應用落地，更深地感受 EasyMR 是如何幫助企業更高效、平滑、安全地實作實作國外進口產品的國產化替代，

某全國性股份制商業銀行：CDH 遷移至 EasyMR

某全國性股份制商業銀行，為解決分行資料應用建設效率差等問題，數堆疊幫助該客戶實作了 CDH 平滑遷移至 EasyMR，并且為該客戶建立了“總行統一調度+分行資料協同共享”的資料應用云平臺，

EasyMR 使用 Trino 替換 Impala，解決了客戶 Impala 記憶體過度占用導致節點宕機的問題，提升查詢性能，實作了資源動態隔離；并且采用「云平臺」的模式，總行+各個分行是平臺上的單獨租戶，底層存盤、計算資源共享提升資料下發效率，資料權限隔離保證安全，不用再擔心出現分行資料誤洗掉、丟失等安全問題，EasyMR 兼容信創生態體系，平滑遷移至國產化環境，符合金融行業的信創國產化要求，

通過 EasyMR 大資料基礎平臺的建設，該全國性股份制商業銀行實作了成本管理和業務管控的雙效提升，

某支付行業云服務品牌：EasyMR + 數堆疊Saas化

金融行業正逐漸從數字化時代邁向智能化時代，該客戶的需求是將 EasyMR 和數堆疊進行 Saas 化，依托資料中臺產品，賦能客戶，加快走向智能化時代的步伐，

面對客戶需求，數堆疊 + EasyMR 與云平臺的網路架構、服務器、云平臺的統一權限管控等各項內容實作全面兼容適配，保證在客戶開通權限資源后，依然能夠保障 EasyMR 的穩定運行，并且數堆疊 + EasyMR 實作了「訂購—自動化部署—一鍵擴縮容」等各類操作，

作為大資料基礎軟體國產化的重要推動者之一，數堆疊還擁有大量成熟大資料解決方案，可以更好地支持各行業智能化、數字化應用建設，

首發數堆疊V6.0產品白皮書

此外，會上還發布了《數堆疊產品白皮書》：從數字技術、產品能力、應用實踐、服務支持四個方面進行深度研判，針對性克服數字化轉型短板，從資料治理、湖倉一體、資料集成、DataOps 等八個方面進行解決方案解讀，重點提升客戶資料管控能力，此外，本白皮書總結了有效的大資料基礎軟體建設經驗，為各行業企業的數字化轉型提供參考和指導，

歡迎大家掃碼進行免費獲取，

數堆疊始終堅持自主可控，積極致力于幫助客戶打造國產創新的企業級大資料基礎軟體，幫助客戶夯實資料基座，建立從資料獲取生產到資料消費利用的全生命周期管理體系，使資料“可見、可用、可管”，洞察數字化機遇，明確轉型方向，創造資料新價值，

今后，數堆疊產品也將更加貼合實際場景，用數智化方式解題，踐行“用資料產生價值”的使命，

《數堆疊產品白皮書》：https://www.dtstack.com/resources/1004?src=https://www.cnblogs.com/DTinsight/archive/2023/04/27/szsm

《資料治理行業實踐白皮書》下載地址：https://www.dtstack.com/resources/1001?src=https://www.cnblogs.com/DTinsight/archive/2023/04/27/szsm

想了解或咨詢更多有關袋鼠云大資料產品、行業解決方案、客戶案例的朋友，瀏覽袋鼠云官網：https://www.dtstack.com/?src=https://www.cnblogs.com/DTinsight/archive/2023/04/27/szbky

同時，歡迎對大資料開源專案有興趣的同學加入「袋鼠云開源框架釘釘技術qun」，交流最新開源技術資訊，qun號碼：30537511，專案地址：https://github.com/DTStack

標籤：其他

上一篇：CloudCanal x OceanBase 資料遷移同步優化

下一篇：返回列表