主頁 > 資料庫 > 他來了!袋鼠云大資料基礎平臺EasyMR正式上線

他來了!袋鼠云大資料基礎平臺EasyMR正式上線

2022-09-23 08:22:27 資料庫

7月28日,在袋鼠云2022產品發布會上,袋鼠云技術負責人思樞正式宣布旗下產品「大資料基礎平臺EasyMR」發布,

EasyMR是袋鼠云自研的大資料基礎平臺,提供Hadoop、Hive、Spark、Trino、HBase、Kafka等組件,完全兼容Apache開源生態;支持企業級安全管控,一鍵開啟LDAP+Kerberos+Ranger認證權限體系;提供一站式運維管理平臺,幫助企業快速構建大資料平臺,降低運維成本,

結合袋鼠云在數字化領域多年的寸積銖累,此次全新發布的大資料基礎平臺EasyMR緊跟開源生態的先進技術,不僅可以幫助客戶輕松應對海量資料的采集、存盤、計算、分析挖掘和資料安全等應用場景,并且對于智能運維的部署、升級、擴縮容、監控等進行全方位支持,真正做到成為企業便捷、智能、高效的“資料底座”,

六大特性打造國產大資料基礎平臺

不同于十年前的新奇,現在大家已經完全習慣自己身處于“大資料時代”這件事情,所有人都能夠深切地感受到大資料對于生活帶來的各種改變和便利,資料爆發的時代推動著每個個人、企業、行業,甚至是國家往前走,

當前國際形勢風云變幻,中美雙邊關系的割裂,國家對于信創國產化的大力支持,給國內的大資料行業帶來巨大沖擊的同時,也帶來了全新機遇,

資料基礎平臺作為一切的基礎和底座,自然成為國產替代的重中之重,只有真正擁有了自主可控的平臺建設能力,才能逐步建立基于自己的 IT 底層架構和標準,形成自有開放生態,

EasyMR就是這樣一款自主研發、完全可控的,致力于助力企業資訊化智慧轉型的“企業資料底座”,

file

下面通過描述EasyMR的主要特性,來具體說說,EasyMR是如何幫助企業實作智能的?

● 界面化集群運維

Hadoop集群、大資料平臺在日常運維中涉及到的節點擴容縮容、組件停止啟動、服務滾動重啟、服務引數修改、版本升級與回滾等多種運維操作,通過邏輯化、流程化的產品界面展現,方便運維人員操作和監控,提高運維效率,

● 自動化部署

EasyMR通過規范化的步驟和引數約定制作出產品安裝包,發布包中的Schema檔案中配置了安裝包中所有的服務,包含各服務的配置引數、健康檢查引數,服務之間的依賴關系等,產品部署時可根據Schema中的相關配置實作一鍵全自動化部署,

● 儀表盤集群監控

通過集成開源的Promethus和Grafana,實作對集群、服務、節點的核心引數監控,并通過靈活形象的儀表盤進行資料展現,包含CPU占用率,RAM使用率、磁盤空間、IO讀寫速率等核心引數進行監控,實時掌握集群、服務、節點的運行狀態,降低運維故障率,同時,支持用戶自建儀表盤及監控項,實作自定義監控項,

● 實時告警

支持實時監控集群中各組件服務的運行指標,如CPU、記憶體、磁盤、讀寫IO等,并支持短信、釘釘、郵件告警通道配置,集成多種第三方訊息插件,當集群服務出現例外時,可觸發告警條件,系統將及時通知接收人,

● 強擴展性

通過自研的Easyagent Server抽象出七大REST介面,安裝、啟動、停止、更新、配置修改、卸載、執行等與上層應用進行互動,可使agent類別和功能可輕松無限擴展,

● 安全穩定

資料安全、產品安全是大資料產品需要重點考慮的問題,EasyMR在產品設計中過濾掉rm、drop等命令列,防止對資料庫的誤操作,通過更加安全的方式執行相關命令,同時提供服務的滾動重啟、產品的斷電重啟,解決運維時服務不停止運行的場景并節省運維時間,

豐富的大資料組件夯實資料基座

EasyMR支持Hadoop2.8.5、Hadoop3.2.1大資料集群搭建,支持豐富的大資料組件,用戶可以根據業務需要進行組件的選擇,

那么,EasyMR具體支持那些大資料組件呢?

● Yarn

版本支持:

· Yarn 支持Hadoop 2.8.5、3.2.1

主要功能為Hadoop的資源調度器,負責管理整個Hadoop集群的資源(CPU和記憶體)管理和調度,

● Hdfs

版本支持:

· Hdfs 支持Hadoop 2.8.5、3.2.1

Hdfs即Hadoop 分布式檔案系統,是Hadoop的三大基礎組件之一,主要是處理大資料場景下資料的增、刪、改、查、檔案切片等功能,

● Flink

版本支持:

· Flink 1.12

面向資料流處理和批量資料處理的可分布式的開源計算框架,

● Spark

版本支持:

· Spark 2.4.8

基于記憶體的新一代分布式開源大資料框架,支持離線,實時計算,也支持 SQL 語法以及機器學習的處理,

EasyMR對開源組件的SQL的DDL能力進行了增強,支持Add Column語法,

● Hive

版本支持:

· Hive 2.3.8

· Hive 3.1.2

基于Hadoop的一套離線資料處理系統,在HDFS之上提供了結構化的表資料的管理能力,提供類 SQL 的查詢語法進行資料分析處理,

● Trino

版本支持:

· Trino 0.359

分布式SQL查詢引擎, 用來專門進行高速、實時的資料分析,

EasyMR對Trino的Connector進行了增強,支持Connector的動態加載;對社區的Connector進行了擴展,支持星環Inceptor插件,

● Hbase

版本支持:

· Hbase 1.3.5

· Hbase 2.3.4

一款高可靠性、高性能、面向列、可伸縮、實時讀寫的分布式資料庫,

● Zookeeper

版本支持:

· Zookeeper 3.6.2

分布式應用程式協調服務,分布式應用程式可基于它實作同步服務,配置維護和命名服務等,為分布式集群提供一種可靠、可擴展、分布式、可配置的協調機制來統一系統的狀態,

一起進行一次安裝部署吧

其中,簡潔、易上手也是EasyMR的一大優勢,EasyMR既希望幫助企業實作多源資料的高效集成,全量資料的高效分析,同時也希望能夠降低平臺的使用門檻,不會讓上手難度成為影響企業數字化轉型行程的一道壁壘,

所以,和我們一起進行一次大資料產品的安裝部署吧!

創建集群

EasyMR支持多集群的統一管理,

file

基于物理機/虛擬機進行主機集群創建,

file

「添加主機」,通過賬號接入、命令列接入的方式進行主機節點的添加

file
file

上傳組件安裝包

選擇平臺已有的組件安裝包進行安裝部署,或者通過本地上傳、網路上傳的方式上傳自己的組件安裝包,

file

一鍵快速自動化部署

EasyMR支持單個產品包的手動部署和多個產品包的自動部署兩種部署方式,

自動部署通過上傳產品線定義組件部署流程,平臺決議篩選相關組件,根據定義的主機角色實作自動資源自動編排,平臺根據依賴關系完成組件的順序部署,大大節省了運維逐個部署、資源配置的時間,

file

產品安裝程序中,我們可以實時看到服務部署進度、查看部署日志,服務部署情況一目了然,

file

7*24小時實時監控告警

EasyMR通過集成開源的promethus和grafana,實作對集群、服務、節點的核心引數監控,并通過靈活形象的儀表盤進行資料展現,包含CPU占用率,RAM使用率、磁盤空間、I/O讀寫速率等核心引數進行監控,實時掌握集群、服務、節點的運行狀態,降低運維故障率,同時,支持用戶自建儀表盤及監控項,實作自定義監控項,

file

設定告警規則

平臺提供 “短信通道、郵件通道、釘釘通道、企業微信通道、自定義通道” 5種通道配置,用戶根據需要選擇合適通道并填寫通道配置資訊、訊息模板、地址等完成通道配置,

file
file

寫在最后

沒錯,EasyMR就是這樣一款好用、易用、高效的大資料基礎工具,覆寫企業服務監控運維、組件的升級與回滾、離線資料分析、流式資料處理等多種應用場景,

未來EasyMR將堅持自主創新,不斷進化,將積累的大資料實踐經驗復制到更多的企業,

袋鼠云開源框架釘釘技術交流qun(30537511),歡迎對大資料開源專案有興趣的同學加入交流最新技術資訊,開源專案庫地址:https://github.com/DTStack/Taier

轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/509374.html

標籤:其他

上一篇:SQLite基礎語法速用大法(Flutter)

下一篇:返回列表

標籤雲
其他(145168) Python(37270) JavaScript(24901) Java(16460) C(14967) 區塊鏈(8236) C#(7957) AI(7469) 爪哇(7405) html(6776) MySQL(6722) 基礎類(6313) sql(6084) 熊猫(6051) PHP(5787) 数组(5741) R(5305) 反应(5188) Linux(5180) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4413) 数据框(4310) css(4249) 节点.js(4029) C語言(3288) json(3241) 列表(3120) C++語言(3117) 扑(3085) 安卓(2997) 打字稿(2957) VBA(2784) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2398) ASP.NET(2364) MongoDB(2317) 麻木的(2285) 正则表达式(2232) 字典(2211) 循环(2197) 迅速(2174) 擅长(2159) 镖(2150) 功能(1967) Web開發(1951) python-3.x(1918) 弹簧靴(1911) xml(1884) for循环(1841) 谷歌表格(1837) Unity3D(1824) PostgreSQL(1808) .NET技术(1800) 網絡通信(1793) .NETCore(1790) 蟒蛇-3.x(1774)

熱門瀏覽
  • GPU虛擬機創建時間深度優化

    **?桔妹導讀:**GPU虛擬機實體創建速度慢是公有云面臨的普遍問題,由于通常情況下創建虛擬機屬于低頻操作而未引起業界的重視,實際生產中還是存在對GPU實體創建時間有苛刻要求的業務場景。本文將介紹滴滴云在解決該問題時的思路、方法、并展示最終的優化成果。 從公有云服務商那里購買過虛擬主機的資深用戶,一 ......

    uj5u.com 2020-09-10 06:09:13 more
  • 可編程網卡芯片在滴滴云網路的應用實踐

    **?桔妹導讀:**隨著云規模不斷擴大以及業務層面對延遲、帶寬的要求越來越高,采用DPDK 加速網路報文處理的方式在橫向縱向擴展都出現了局限性。可編程芯片成為業界熱點。本文主要講述了可編程網卡芯片在滴滴云網路中的應用實踐,遇到的問題、帶來的收益以及開源社區貢獻。 #1. 資料中心面臨的問題 隨著滴滴 ......

    uj5u.com 2020-09-10 06:10:21 more
  • 滴滴資料通道服務演進之路

    **?桔妹導讀:**滴滴資料通道引擎承載著全公司的資料同步,為下游實時和離線場景提供了必不可少的源資料。隨著任務量的不斷增加,資料通道的整體架構也隨之發生改變。本文介紹了滴滴資料通道的發展歷程,遇到的問題以及今后的規劃。 #1. 背景 資料,對于任何一家互聯網公司來說都是非常重要的資產,公司的大資料 ......

    uj5u.com 2020-09-10 06:11:05 more
  • 滴滴AI Labs斬獲國際機器翻譯大賽中譯英方向世界第三

    **桔妹導讀:**深耕人工智能領域,致力于探索AI讓出行更美好的滴滴AI Labs再次斬獲國際大獎,這次獲獎的專案是什么呢?一起來看看詳細報道吧! 近日,由國際計算語言學協會ACL(The Association for Computational Linguistics)舉辦的世界最具影響力的機器 ......

    uj5u.com 2020-09-10 06:11:29 more
  • MPP (Massively Parallel Processing)大規模并行處理

    1、什么是mpp? MPP (Massively Parallel Processing),即大規模并行處理,在資料庫非共享集群中,每個節點都有獨立的磁盤存盤系統和記憶體系統,業務資料根據資料庫模型和應用特點劃分到各個節點上,每臺資料節點通過專用網路或者商業通用網路互相連接,彼此協同計算,作為整體提供 ......

    uj5u.com 2020-09-10 06:11:41 more
  • 滴滴資料倉庫指標體系建設實踐

    **桔妹導讀:**指標體系是什么?如何使用OSM模型和AARRR模型搭建指標體系?如何統一流程、規范化、工具化管理指標體系?本文會對建設的方法論結合滴滴資料指標體系建設實踐進行解答分析。 #1. 什么是指標體系 ##1.1 指標體系定義 指標體系是將零散單點的具有相互聯系的指標,系統化的組織起來,通 ......

    uj5u.com 2020-09-10 06:12:52 more
  • 單表千萬行資料庫 LIKE 搜索優化手記

    我們經常在資料庫中使用 LIKE 運算子來完成對資料的模糊搜索,LIKE 運算子用于在 WHERE 子句中搜索列中的指定模式。 如果需要查找客戶表中所有姓氏是“張”的資料,可以使用下面的 SQL 陳述句: SELECT * FROM Customer WHERE Name LIKE '張%' 如果需要 ......

    uj5u.com 2020-09-10 06:13:25 more
  • 滴滴Ceph分布式存盤系統優化之鎖優化

    **桔妹導讀:**Ceph是國際知名的開源分布式存盤系統,在工業界和學術界都有著重要的影響。Ceph的架構和演算法設計發表在國際系統領域頂級會議OSDI、SOSP、SC等上。Ceph社區得到Red Hat、SUSE、Intel等大公司的大力支持。Ceph是國際云計算領域應用最廣泛的開源分布式存盤系統, ......

    uj5u.com 2020-09-10 06:14:51 more
  • es~通過ElasticsearchTemplate進行聚合~嵌套聚合

    之前寫過《es~通過ElasticsearchTemplate進行聚合操作》的文章,這一次主要寫一個嵌套的聚合,例如先對sex集合,再對desc聚合,最后再對age求和,共三層嵌套。 Aggregations的部分特性類似于SQL語言中的group by,avg,sum等函式,Aggregation ......

    uj5u.com 2020-09-10 06:14:59 more
  • 爬蟲日志監控 -- Elastc Stack(ELK)部署

    傻瓜式部署,只需替換IP與用戶 導讀: 現ELK四大組件分別為:Elasticsearch(核心)、logstash(處理)、filebeat(采集)、kibana(可視化) 下載均在https://www.elastic.co/cn/downloads/下tar包,各組件版本最好一致,配合fdm會 ......

    uj5u.com 2020-09-10 06:15:05 more
最新发布
  • 他來了!袋鼠云大資料基礎平臺EasyMR正式上線

    7月28日,在袋鼠云2022產品發布會上,袋鼠云技術負責人思樞正式宣布旗下產品「大資料基礎平臺EasyMR」發布。 EasyMR是袋鼠云自研的大資料基礎平臺,提供Hadoop、Hive、Spark、Trino、HBase、Kafka等組件,完全兼容Apache開源生態;支持企業級安全管控,一鍵開啟L ......

    uj5u.com 2022-09-23 08:22:27 more
  • SQLite基礎語法速用大法(Flutter)

    前記 (可跳過這段來自本up的羅里吧嗦。。。) 在做上一個專案的時候,需要用到本地資料庫,以前做公司專案用的是輕量級資料庫Realm,做自己小專案用的是greenDAO,大學學的是SQL server,但是在flutter中,相關插件用的資料庫是SQLite(sqflite插件),但本人還沒接觸過S ......

    uj5u.com 2022-09-23 08:21:57 more
  • MySQL InnoDB 鎖的二三事

    近日, 在一個小型專案中, 遇到了一個觸及我知識盲區的bug. 專案用的是MySQL 5.7.25, 其中有一張表 config_data, 包含四個欄位, id, name, value, expireAt. 其中id為主鍵, name建有唯一索引, 表的用途大概就是存放一些有時效性的配置. 以上 ......

    uj5u.com 2022-09-23 08:21:21 more
  • 我眼中的大資料(二)——HDFS

    Hadoop的第一個產品是HDFS,可以說分布式檔案存盤是分布式計算的基礎,也可見分布式檔案存盤的重要性。如果我們將大資料計算比作烹飪,那么資料就是食材,而Hadoop分布式檔案系統HDFS就是燒菜的那口大鍋。這些年來,各種計算框架、各種演算法、各種應用場景不斷推陳出新,讓人眼花繚亂,但是大資料存盤的 ......

    uj5u.com 2022-09-23 08:21:07 more
  • 他來了!袋鼠云大資料基礎平臺EasyMR正式上線

    7月28日,在袋鼠云2022產品發布會上,袋鼠云技術負責人思樞正式宣布旗下產品「大資料基礎平臺EasyMR」發布。 EasyMR是袋鼠云自研的大資料基礎平臺,提供Hadoop、Hive、Spark、Trino、HBase、Kafka等組件,完全兼容Apache開源生態;支持企業級安全管控,一鍵開啟L ......

    uj5u.com 2022-09-23 08:20:45 more
  • MySQL DDL執行方式-Online DDL介紹

    日常開發我們對一條DML陳述句較為熟悉,很多開發人員都了解sql的執行程序,比較熟悉,但是DDL是如何執行的呢,大部分開發人員可能不太關心,也認為沒必要了解,都交給DBA吧。 其實不然,了解一些能盡量避開一些ddl的坑,那么下面帶大家一起了解一下DDL執行的方式,。 ......

    uj5u.com 2022-09-22 10:08:55 more
  • MySQL DDL執行方式-Online DDL介紹

    日常開發我們對一條DML陳述句較為熟悉,很多開發人員都了解sql的執行程序,比較熟悉,但是DDL是如何執行的呢,大部分開發人員可能不太關心,也認為沒必要了解,都交給DBA吧。 其實不然,了解一些能盡量避開一些ddl的坑,那么下面帶大家一起了解一下DDL執行的方式,。 ......

    uj5u.com 2022-09-22 10:08:03 more
  • 一條sql了解MYSQL的架構設計

    對于一個服務端開發來說 MYSQL 可能是他使用最熟悉的資料庫工具,然而,大部分的Java工程師對MySQL的了解和掌握程度,大致就停留在這么一個階段:它可以建庫、建表、建索引,然后就是對里面的資料進行增刪改查,陳述句性能有點差?沒關系,在表里建幾個索引或者調整一下查詢邏輯就可以了,一條sql,MYS... ......

    uj5u.com 2022-09-21 11:42:20 more
  • PostgreSQL邏輯復制解密

    在數字化時代的今天,我們都認同資料會創造價值。為了最大化資料的價值,我們不停的建立著資料遷移的管道,從同構到異構,從關系型到非關系型,從云下到云上,從數倉到資料湖,試圖在各種場景挖掘資料的價值。而在這縱橫交錯的資料網路中,邏輯復制扮演著及其重要的角色。

    讓我們將視角從復雜的網路拉回其中的一個端點,... ......

    uj5u.com 2022-09-21 11:42:10 more
  • 工具推薦-使用RedisInsight工具對Redis集群CURD操作及資料可視化

    RedisInsight 是一個直觀而高效的 Redis GUI (可視化工具),它提供了設計、開發和優化 Redis 應用程式的功能,查詢、分析您的 Redis 資料并與之互動,簡化您的 Redis 應用程式開發 。(必備)
    RedisInsight 現在采用了基于流行的 Electron 框架的... ......

    uj5u.com 2022-09-21 11:41:51 more