主頁 > 資料庫 > 他來了!袋鼠云大資料基礎平臺EasyMR正式上線

他來了!袋鼠云大資料基礎平臺EasyMR正式上線

2022-09-23 08:20:45 資料庫

7月28日,在袋鼠云2022產品發布會上,袋鼠云技術負責人思樞正式宣布旗下產品「大資料基礎平臺EasyMR」發布,

EasyMR是袋鼠云自研的大資料基礎平臺,提供Hadoop、Hive、Spark、Trino、HBase、Kafka等組件,完全兼容Apache開源生態;支持企業級安全管控,一鍵開啟LDAP+Kerberos+Ranger認證權限體系;提供一站式運維管理平臺,幫助企業快速構建大資料平臺,降低運維成本,

結合袋鼠云在數字化領域多年的寸積銖累,此次全新發布的大資料基礎平臺EasyMR緊跟開源生態的先進技術,不僅可以幫助客戶輕松應對海量資料的采集、存盤、計算、分析挖掘和資料安全等應用場景,并且對于智能運維的部署、升級、擴縮容、監控等進行全方位支持,真正做到成為企業便捷、智能、高效的“資料底座”,

六大特性打造國產大資料基礎平臺

不同于十年前的新奇,現在大家已經完全習慣自己身處于“大資料時代”這件事情,所有人都能夠深切地感受到大資料對于生活帶來的各種改變和便利,資料爆發的時代推動著每個個人、企業、行業,甚至是國家往前走,

當前國際形勢風云變幻,中美雙邊關系的割裂,國家對于信創國產化的大力支持,給國內的大資料行業帶來巨大沖擊的同時,也帶來了全新機遇,

資料基礎平臺作為一切的基礎和底座,自然成為國產替代的重中之重,只有真正擁有了自主可控的平臺建設能力,才能逐步建立基于自己的 IT 底層架構和標準,形成自有開放生態,

EasyMR就是這樣一款自主研發、完全可控的,致力于助力企業資訊化智慧轉型的“企業資料底座”,

file

下面通過描述EasyMR的主要特性,來具體說說,EasyMR是如何幫助企業實作智能的?

● 界面化集群運維

Hadoop集群、大資料平臺在日常運維中涉及到的節點擴容縮容、組件停止啟動、服務滾動重啟、服務引數修改、版本升級與回滾等多種運維操作,通過邏輯化、流程化的產品界面展現,方便運維人員操作和監控,提高運維效率,

● 自動化部署

EasyMR通過規范化的步驟和引數約定制作出產品安裝包,發布包中的Schema檔案中配置了安裝包中所有的服務,包含各服務的配置引數、健康檢查引數,服務之間的依賴關系等,產品部署時可根據Schema中的相關配置實作一鍵全自動化部署,

● 儀表盤集群監控

通過集成開源的Promethus和Grafana,實作對集群、服務、節點的核心引數監控,并通過靈活形象的儀表盤進行資料展現,包含CPU占用率,RAM使用率、磁盤空間、IO讀寫速率等核心引數進行監控,實時掌握集群、服務、節點的運行狀態,降低運維故障率,同時,支持用戶自建儀表盤及監控項,實作自定義監控項,

● 實時告警

支持實時監控集群中各組件服務的運行指標,如CPU、記憶體、磁盤、讀寫IO等,并支持短信、釘釘、郵件告警通道配置,集成多種第三方訊息插件,當集群服務出現例外時,可觸發告警條件,系統將及時通知接收人,

● 強擴展性

通過自研的Easyagent Server抽象出七大REST介面,安裝、啟動、停止、更新、配置修改、卸載、執行等與上層應用進行互動,可使agent類別和功能可輕松無限擴展,

● 安全穩定

資料安全、產品安全是大資料產品需要重點考慮的問題,EasyMR在產品設計中過濾掉rm、drop等命令列,防止對資料庫的誤操作,通過更加安全的方式執行相關命令,同時提供服務的滾動重啟、產品的斷電重啟,解決運維時服務不停止運行的場景并節省運維時間,

豐富的大資料組件夯實資料基座

EasyMR支持Hadoop2.8.5、Hadoop3.2.1大資料集群搭建,支持豐富的大資料組件,用戶可以根據業務需要進行組件的選擇,

那么,EasyMR具體支持那些大資料組件呢?

● Yarn

版本支持:

· Yarn 支持Hadoop 2.8.5、3.2.1

主要功能為Hadoop的資源調度器,負責管理整個Hadoop集群的資源(CPU和記憶體)管理和調度,

● Hdfs

版本支持:

· Hdfs 支持Hadoop 2.8.5、3.2.1

Hdfs即Hadoop 分布式檔案系統,是Hadoop的三大基礎組件之一,主要是處理大資料場景下資料的增、刪、改、查、檔案切片等功能,

● Flink

版本支持:

· Flink 1.12

面向資料流處理和批量資料處理的可分布式的開源計算框架,

● Spark

版本支持:

· Spark 2.4.8

基于記憶體的新一代分布式開源大資料框架,支持離線,實時計算,也支持 SQL 語法以及機器學習的處理,

EasyMR對開源組件的SQL的DDL能力進行了增強,支持Add Column語法,

● Hive

版本支持:

· Hive 2.3.8

· Hive 3.1.2

基于Hadoop的一套離線資料處理系統,在HDFS之上提供了結構化的表資料的管理能力,提供類 SQL 的查詢語法進行資料分析處理,

● Trino

版本支持:

· Trino 0.359

分布式SQL查詢引擎, 用來專門進行高速、實時的資料分析,

EasyMR對Trino的Connector進行了增強,支持Connector的動態加載;對社區的Connector進行了擴展,支持星環Inceptor插件,

● Hbase

版本支持:

· Hbase 1.3.5

· Hbase 2.3.4

一款高可靠性、高性能、面向列、可伸縮、實時讀寫的分布式資料庫,

● Zookeeper

版本支持:

· Zookeeper 3.6.2

分布式應用程式協調服務,分布式應用程式可基于它實作同步服務,配置維護和命名服務等,為分布式集群提供一種可靠、可擴展、分布式、可配置的協調機制來統一系統的狀態,

一起進行一次安裝部署吧

其中,簡潔、易上手也是EasyMR的一大優勢,EasyMR既希望幫助企業實作多源資料的高效集成,全量資料的高效分析,同時也希望能夠降低平臺的使用門檻,不會讓上手難度成為影響企業數字化轉型行程的一道壁壘,

所以,和我們一起進行一次大資料產品的安裝部署吧!

創建集群

EasyMR支持多集群的統一管理,

file

基于物理機/虛擬機進行主機集群創建,

file

「添加主機」,通過賬號接入、命令列接入的方式進行主機節點的添加

file
file

上傳組件安裝包

選擇平臺已有的組件安裝包進行安裝部署,或者通過本地上傳、網路上傳的方式上傳自己的組件安裝包,

file

一鍵快速自動化部署

EasyMR支持單個產品包的手動部署和多個產品包的自動部署兩種部署方式,

自動部署通過上傳產品線定義組件部署流程,平臺決議篩選相關組件,根據定義的主機角色實作自動資源自動編排,平臺根據依賴關系完成組件的順序部署,大大節省了運維逐個部署、資源配置的時間,

file

產品安裝程序中,我們可以實時看到服務部署進度、查看部署日志,服務部署情況一目了然,

file

7*24小時實時監控告警

EasyMR通過集成開源的promethus和grafana,實作對集群、服務、節點的核心引數監控,并通過靈活形象的儀表盤進行資料展現,包含CPU占用率,RAM使用率、磁盤空間、I/O讀寫速率等核心引數進行監控,實時掌握集群、服務、節點的運行狀態,降低運維故障率,同時,支持用戶自建儀表盤及監控項,實作自定義監控項,

file

設定告警規則

平臺提供 “短信通道、郵件通道、釘釘通道、企業微信通道、自定義通道” 5種通道配置,用戶根據需要選擇合適通道并填寫通道配置資訊、訊息模板、地址等完成通道配置,

file
file

寫在最后

沒錯,EasyMR就是這樣一款好用、易用、高效的大資料基礎工具,覆寫企業服務監控運維、組件的升級與回滾、離線資料分析、流式資料處理等多種應用場景,

未來EasyMR將堅持自主創新,不斷進化,將積累的大資料實踐經驗復制到更多的企業,

袋鼠云開源框架釘釘技術交流qun(30537511),歡迎對大資料開源專案有興趣的同學加入交流最新技術資訊,開源專案庫地址:https://github.com/DTStack/Taier

轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/509370.html

標籤:大數據

上一篇:MySQL DDL執行方式-Online DDL介紹

下一篇:我眼中的大資料(二)——HDFS

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • GPU虛擬機創建時間深度優化

    **?桔妹導讀:**GPU虛擬機實體創建速度慢是公有云面臨的普遍問題,由于通常情況下創建虛擬機屬于低頻操作而未引起業界的重視,實際生產中還是存在對GPU實體創建時間有苛刻要求的業務場景。本文將介紹滴滴云在解決該問題時的思路、方法、并展示最終的優化成果。 從公有云服務商那里購買過虛擬主機的資深用戶,一 ......

    uj5u.com 2020-09-10 06:09:13 more
  • 可編程網卡芯片在滴滴云網路的應用實踐

    **?桔妹導讀:**隨著云規模不斷擴大以及業務層面對延遲、帶寬的要求越來越高,采用DPDK 加速網路報文處理的方式在橫向縱向擴展都出現了局限性。可編程芯片成為業界熱點。本文主要講述了可編程網卡芯片在滴滴云網路中的應用實踐,遇到的問題、帶來的收益以及開源社區貢獻。 #1. 資料中心面臨的問題 隨著滴滴 ......

    uj5u.com 2020-09-10 06:10:21 more
  • 滴滴資料通道服務演進之路

    **?桔妹導讀:**滴滴資料通道引擎承載著全公司的資料同步,為下游實時和離線場景提供了必不可少的源資料。隨著任務量的不斷增加,資料通道的整體架構也隨之發生改變。本文介紹了滴滴資料通道的發展歷程,遇到的問題以及今后的規劃。 #1. 背景 資料,對于任何一家互聯網公司來說都是非常重要的資產,公司的大資料 ......

    uj5u.com 2020-09-10 06:11:05 more
  • 滴滴AI Labs斬獲國際機器翻譯大賽中譯英方向世界第三

    **桔妹導讀:**深耕人工智能領域,致力于探索AI讓出行更美好的滴滴AI Labs再次斬獲國際大獎,這次獲獎的專案是什么呢?一起來看看詳細報道吧! 近日,由國際計算語言學協會ACL(The Association for Computational Linguistics)舉辦的世界最具影響力的機器 ......

    uj5u.com 2020-09-10 06:11:29 more
  • MPP (Massively Parallel Processing)大規模并行處理

    1、什么是mpp? MPP (Massively Parallel Processing),即大規模并行處理,在資料庫非共享集群中,每個節點都有獨立的磁盤存盤系統和記憶體系統,業務資料根據資料庫模型和應用特點劃分到各個節點上,每臺資料節點通過專用網路或者商業通用網路互相連接,彼此協同計算,作為整體提供 ......

    uj5u.com 2020-09-10 06:11:41 more
  • 滴滴資料倉庫指標體系建設實踐

    **桔妹導讀:**指標體系是什么?如何使用OSM模型和AARRR模型搭建指標體系?如何統一流程、規范化、工具化管理指標體系?本文會對建設的方法論結合滴滴資料指標體系建設實踐進行解答分析。 #1. 什么是指標體系 ##1.1 指標體系定義 指標體系是將零散單點的具有相互聯系的指標,系統化的組織起來,通 ......

    uj5u.com 2020-09-10 06:12:52 more
  • 單表千萬行資料庫 LIKE 搜索優化手記

    我們經常在資料庫中使用 LIKE 運算子來完成對資料的模糊搜索,LIKE 運算子用于在 WHERE 子句中搜索列中的指定模式。 如果需要查找客戶表中所有姓氏是“張”的資料,可以使用下面的 SQL 陳述句: SELECT * FROM Customer WHERE Name LIKE '張%' 如果需要 ......

    uj5u.com 2020-09-10 06:13:25 more
  • 滴滴Ceph分布式存盤系統優化之鎖優化

    **桔妹導讀:**Ceph是國際知名的開源分布式存盤系統,在工業界和學術界都有著重要的影響。Ceph的架構和演算法設計發表在國際系統領域頂級會議OSDI、SOSP、SC等上。Ceph社區得到Red Hat、SUSE、Intel等大公司的大力支持。Ceph是國際云計算領域應用最廣泛的開源分布式存盤系統, ......

    uj5u.com 2020-09-10 06:14:51 more
  • es~通過ElasticsearchTemplate進行聚合~嵌套聚合

    之前寫過《es~通過ElasticsearchTemplate進行聚合操作》的文章,這一次主要寫一個嵌套的聚合,例如先對sex集合,再對desc聚合,最后再對age求和,共三層嵌套。 Aggregations的部分特性類似于SQL語言中的group by,avg,sum等函式,Aggregation ......

    uj5u.com 2020-09-10 06:14:59 more
  • 爬蟲日志監控 -- Elastc Stack(ELK)部署

    傻瓜式部署,只需替換IP與用戶 導讀: 現ELK四大組件分別為:Elasticsearch(核心)、logstash(處理)、filebeat(采集)、kibana(可視化) 下載均在https://www.elastic.co/cn/downloads/下tar包,各組件版本最好一致,配合fdm會 ......

    uj5u.com 2020-09-10 06:15:05 more
最新发布
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取? 快取就是資料交換的緩沖區(稱作Cache),是存盤資料的臨時地方,一般讀寫性能較高。 快取的作用: 降低后端負載 提高讀寫效率,降低回應時間 快取的成本: 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下,當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:33:24 more
  • MySQL中binlog備份腳本分享

    關于MySQL的二進制日志(binlog),我們都知道二進制日志(binlog)非常重要,尤其當你需要point to point災難恢復的時侯,所以我們要對其進行備份。關于二進制日志(binlog)的備份,可以基于flush logs方式先切換binlog,然后拷貝&壓縮到到遠程服務器或本地服務器 ......

    uj5u.com 2023-04-20 08:28:06 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼: 發送驗證碼的介面為:http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式:PO ......

    uj5u.com 2023-04-20 08:27:27 more
  • 快取與資料庫雙寫一致性幾種策略分析

    本文將對幾種快取與資料庫保證資料一致性的使用方式進行分析。為保證高并發性能,以下分析場景不考慮執行的原子性及加鎖等強一致性要求的場景,僅追求最終一致性。 ......

    uj5u.com 2023-04-20 08:26:48 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼,對其進行一對一優化,而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題,盡量不要讓一個事務拖太長的時間 例如檔案上傳時,應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:26:35 more
  • 云時代,MySQL到ClickHouse資料同步產品對比推薦

    ClickHouse 在執行分析查詢時的速度優勢很好的彌補了MySQL的不足,但是對于很多開發者和DBA來說,如何將MySQL穩定、高效、簡單的同步到 ClickHouse 卻很困難。本文對比了 NineData、MaterializeMySQL(ClickHouse自帶)、Bifrost 三款產品... ......

    uj5u.com 2023-04-20 08:26:29 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼,對其進行一對一優化,而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題,盡量不要讓一個事務拖太長的時間 例如檔案上傳時,應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:25:13 more
  • Redis 報”OutOfDirectMemoryError“(堆外記憶體溢位)

    Redis 報錯“OutOfDirectMemoryError(堆外記憶體溢位) ”問題如下: 一、報錯資訊: 使用 Redis 的業務介面 ,產生 OutOfDirectMemoryError(堆外記憶體溢位),如圖: 格式化后的報錯資訊: { "timestamp": "2023-04-17 22: ......

    uj5u.com 2023-04-20 08:24:54 more
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取? 快取就是資料交換的緩沖區(稱作Cache),是存盤資料的臨時地方,一般讀寫性能較高。 快取的作用: 降低后端負載 提高讀寫效率,降低回應時間 快取的成本: 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下,當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:24:03 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼: 發送驗證碼的介面為:http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式:PO ......

    uj5u.com 2023-04-20 08:23:11 more