7月28日,在袋鼠云2022產品發布會上,袋鼠云技術負責人思樞正式宣布旗下產品「大資料基礎平臺EasyMR」發布,
EasyMR是袋鼠云自研的大資料基礎平臺,提供Hadoop、Hive、Spark、Trino、HBase、Kafka等組件,完全兼容Apache開源生態;支持企業級安全管控,一鍵開啟LDAP+Kerberos+Ranger認證權限體系;提供一站式運維管理平臺,幫助企業快速構建大資料平臺,降低運維成本,
結合袋鼠云在數字化領域多年的寸積銖累,此次全新發布的大資料基礎平臺EasyMR緊跟開源生態的先進技術,不僅可以幫助客戶輕松應對海量資料的采集、存盤、計算、分析挖掘和資料安全等應用場景,并且對于智能運維的部署、升級、擴縮容、監控等進行全方位支持,真正做到成為企業便捷、智能、高效的“資料底座”,
六大特性打造國產大資料基礎平臺
不同于十年前的新奇,現在大家已經完全習慣自己身處于“大資料時代”這件事情,所有人都能夠深切地感受到大資料對于生活帶來的各種改變和便利,資料爆發的時代推動著每個個人、企業、行業,甚至是國家往前走,
當前國際形勢風云變幻,中美雙邊關系的割裂,國家對于信創國產化的大力支持,給國內的大資料行業帶來巨大沖擊的同時,也帶來了全新機遇,
資料基礎平臺作為一切的基礎和底座,自然成為國產替代的重中之重,只有真正擁有了自主可控的平臺建設能力,才能逐步建立基于自己的 IT 底層架構和標準,形成自有開放生態,
EasyMR就是這樣一款自主研發、完全可控的,致力于助力企業資訊化智慧轉型的“企業資料底座”,

下面通過描述EasyMR的主要特性,來具體說說,EasyMR是如何幫助企業實作智能的?
● 界面化集群運維
Hadoop集群、大資料平臺在日常運維中涉及到的節點擴容縮容、組件停止啟動、服務滾動重啟、服務引數修改、版本升級與回滾等多種運維操作,通過邏輯化、流程化的產品界面展現,方便運維人員操作和監控,提高運維效率,
● 自動化部署
EasyMR通過規范化的步驟和引數約定制作出產品安裝包,發布包中的Schema檔案中配置了安裝包中所有的服務,包含各服務的配置引數、健康檢查引數,服務之間的依賴關系等,產品部署時可根據Schema中的相關配置實作一鍵全自動化部署,
● 儀表盤集群監控
通過集成開源的Promethus和Grafana,實作對集群、服務、節點的核心引數監控,并通過靈活形象的儀表盤進行資料展現,包含CPU占用率,RAM使用率、磁盤空間、IO讀寫速率等核心引數進行監控,實時掌握集群、服務、節點的運行狀態,降低運維故障率,同時,支持用戶自建儀表盤及監控項,實作自定義監控項,
● 實時告警
支持實時監控集群中各組件服務的運行指標,如CPU、記憶體、磁盤、讀寫IO等,并支持短信、釘釘、郵件告警通道配置,集成多種第三方訊息插件,當集群服務出現例外時,可觸發告警條件,系統將及時通知接收人,
● 強擴展性
通過自研的Easyagent Server抽象出七大REST介面,安裝、啟動、停止、更新、配置修改、卸載、執行等與上層應用進行互動,可使agent類別和功能可輕松無限擴展,
● 安全穩定
資料安全、產品安全是大資料產品需要重點考慮的問題,EasyMR在產品設計中過濾掉rm、drop等命令列,防止對資料庫的誤操作,通過更加安全的方式執行相關命令,同時提供服務的滾動重啟、產品的斷電重啟,解決運維時服務不停止運行的場景并節省運維時間,
豐富的大資料組件夯實資料基座
EasyMR支持Hadoop2.8.5、Hadoop3.2.1大資料集群搭建,支持豐富的大資料組件,用戶可以根據業務需要進行組件的選擇,
那么,EasyMR具體支持那些大資料組件呢?
● Yarn
版本支持:
· Yarn 支持Hadoop 2.8.5、3.2.1
主要功能為Hadoop的資源調度器,負責管理整個Hadoop集群的資源(CPU和記憶體)管理和調度,
● Hdfs
版本支持:
· Hdfs 支持Hadoop 2.8.5、3.2.1
Hdfs即Hadoop 分布式檔案系統,是Hadoop的三大基礎組件之一,主要是處理大資料場景下資料的增、刪、改、查、檔案切片等功能,
● Flink
版本支持:
· Flink 1.12
面向資料流處理和批量資料處理的可分布式的開源計算框架,
● Spark
版本支持:
· Spark 2.4.8
基于記憶體的新一代分布式開源大資料框架,支持離線,實時計算,也支持 SQL 語法以及機器學習的處理,
EasyMR對開源組件的SQL的DDL能力進行了增強,支持Add Column語法,
● Hive
版本支持:
· Hive 2.3.8
· Hive 3.1.2
基于Hadoop的一套離線資料處理系統,在HDFS之上提供了結構化的表資料的管理能力,提供類 SQL 的查詢語法進行資料分析處理,
● Trino
版本支持:
· Trino 0.359
分布式SQL查詢引擎, 用來專門進行高速、實時的資料分析,
EasyMR對Trino的Connector進行了增強,支持Connector的動態加載;對社區的Connector進行了擴展,支持星環Inceptor插件,
● Hbase
版本支持:
· Hbase 1.3.5
· Hbase 2.3.4
一款高可靠性、高性能、面向列、可伸縮、實時讀寫的分布式資料庫,
● Zookeeper
版本支持:
· Zookeeper 3.6.2
分布式應用程式協調服務,分布式應用程式可基于它實作同步服務,配置維護和命名服務等,為分布式集群提供一種可靠、可擴展、分布式、可配置的協調機制來統一系統的狀態,
一起進行一次安裝部署吧
其中,簡潔、易上手也是EasyMR的一大優勢,EasyMR既希望幫助企業實作多源資料的高效集成,全量資料的高效分析,同時也希望能夠降低平臺的使用門檻,不會讓上手難度成為影響企業數字化轉型行程的一道壁壘,
所以,和我們一起進行一次大資料產品的安裝部署吧!
創建集群
EasyMR支持多集群的統一管理,

基于物理機/虛擬機進行主機集群創建,

「添加主機」,通過賬號接入、命令列接入的方式進行主機節點的添加


上傳組件安裝包
選擇平臺已有的組件安裝包進行安裝部署,或者通過本地上傳、網路上傳的方式上傳自己的組件安裝包,

一鍵快速自動化部署
EasyMR支持單個產品包的手動部署和多個產品包的自動部署兩種部署方式,
自動部署通過上傳產品線定義組件部署流程,平臺決議篩選相關組件,根據定義的主機角色實作自動資源自動編排,平臺根據依賴關系完成組件的順序部署,大大節省了運維逐個部署、資源配置的時間,

產品安裝程序中,我們可以實時看到服務部署進度、查看部署日志,服務部署情況一目了然,

7*24小時實時監控告警
EasyMR通過集成開源的promethus和grafana,實作對集群、服務、節點的核心引數監控,并通過靈活形象的儀表盤進行資料展現,包含CPU占用率,RAM使用率、磁盤空間、I/O讀寫速率等核心引數進行監控,實時掌握集群、服務、節點的運行狀態,降低運維故障率,同時,支持用戶自建儀表盤及監控項,實作自定義監控項,

設定告警規則
平臺提供 “短信通道、郵件通道、釘釘通道、企業微信通道、自定義通道” 5種通道配置,用戶根據需要選擇合適通道并填寫通道配置資訊、訊息模板、地址等完成通道配置,


寫在最后
沒錯,EasyMR就是這樣一款好用、易用、高效的大資料基礎工具,覆寫企業服務監控運維、組件的升級與回滾、離線資料分析、流式資料處理等多種應用場景,
未來EasyMR將堅持自主創新,不斷進化,將積累的大資料實踐經驗復制到更多的企業,
袋鼠云開源框架釘釘技術交流qun(30537511),歡迎對大資料開源專案有興趣的同學加入交流最新技術資訊,開源專案庫地址:https://github.com/DTStack/Taier
轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/509374.html
標籤:其他
