近年來，國際形勢的風云變幻，中美雙邊關系的惡化，自2013年“棱鏡門”事件之后，又一次警示國人，對于科技領域，只有自己掌握核心關鍵技術，實作自主可控，才能擺脫越來越頻繁的“卡脖子事件”，保證企業和國家資訊安全，
俗話說“基礎不牢，地動山搖“，大資料基礎平臺什么？是打地基的，是重中之重，地基扎得越深、打得越牢，上面的建筑才能越穩定，可以說，數字化轉型的“萬丈高樓”起于基礎平臺，具備自主可控的平臺建設能力，是真正意義上一切的前提，
袋鼠云今年7月最新推出自研大資料基礎平臺EasyMR，該產品提供Hadoop、Hive、Spark、Trino、HBase、Kafka等組件的自動化安裝、中心化管理與集群監控告警功能，完全兼容Apache開源生態，支持企業級安全管控，一鍵開啟LDAP+Kerberos+Ranger認證權限體系，以及提供一站式運維管理平臺，
結合袋鼠云在大資料領域多年的實踐經驗和沉淀積累，袋鼠云大資料基礎平臺EasyMR適配多種信創軟硬體，可以更加自主化地幫助企業快速構建大資料平臺，降低運維成本，極大提高集群管理效率，
一、EasyMR的系統架構
先來看看EasyMR的系統架構，由主體部分和監控告警組件共同構成：
EasyMR的主體部分由以下三部分構成：server端（matrix）、agent管控服務（easyagent-server）、agent管控客戶端（sidecar）：
matrix
matrix主要用于用戶前端互動，將用戶期望對大資料集群的對應運維操作通過web UI的方式呈獻給用戶，也可以通過這種方式將用戶的運維指令下發到Hadoop集群中，比如安裝HDFS Namenode、啟動HDFS Namenode、停止HDFS Namenode等等，從而完成用戶與Hadoop集群的互動，
matrix一般不部署在大資料服務節點上，是作為管控服務單獨部署，
easyagent-server
作為matrix與easyagent-sidecar之間的中間服務，easyagent-server向上作為http服務端提供給業務層matrix一些restful介面，向下作為rpc服務端提供給底層easyagent-sidecar一些rpc介面供遠程呼叫，從而將業務層與底層服務成功解耦，
并且支持高可用分布式部署，當集群壓力增加時可以增加節點部署，緩解集群壓力，與matrix一樣，easyagent-server一般不部署在大資料服務節點上，是作為管控服務單獨部署，
easyagent-sidecar
easyagent-sidecar是由golang語言開發，負責執行easyagent-server下發的指令，進行大資料基礎服務的安裝、部署、啟動、停止、配置下發等操作，同時還負責進行集群內主機和服務監控資訊以及心跳狀態監控上報，當matrix檢測到sidecar未及時上報心跳資料時在頁面會顯示主機狀態例外，
雖然sidecar是與大資料集群最近的一個組件，但是它不保存任何跟集群相關的內容，只負責執行easyagent-server下發的命令以及自身主機與服務的心跳與健康檢查上報，easyagent-sidecar部署在大資料服務節點上，
easyagent-server/easyagent-sidecar架構圖
除了上述三種基礎組件之外，EasyMR作為一個完備的大資料基礎平臺，對于集群的監控告警也引入了一些開源組件（prometheus、grafana），并根據需求對其進行了相應的二次開發，同時EasyMR還自研了專用告警通道發送組件(dt-alert)：
prometheus
prometheus是由 SoundCloud 開源的監控告警解決方案，從 2012 年開始撰寫代碼，2015 年在 GitHub 上開源，2016 年 Prometheus 成為繼 Kubernetes 之后，CNCF （Cloud Native Computing Foundation）中的第二個專案成員，也是第二個正式畢業的專案，是新一代開源解決方案，
對于使用EasyMR接入過的主機以及使用EasyMR部署的大資料服務，我們會為其啟動對應的prometheus exporter（如主機會使用node_exporter），prometheus會定期抓取主機與服務的監控資料并寫入存盤中，便于頁面查詢展示以及針對監控資料進行告警，
grafana
grafana是一個監控儀表系統，它是由 Grafana Labs 公司開源的系統監測 (System Monitoring) 工具，它可以極大地助力簡化監控的復雜度，用戶只需要提供需要監控的資料，它就可以幫助生成各種可視化儀表，同時它還有報警功能，可以在系統出現問題時做到及時通知，
EasyMR將開源版本的grafana進行了二次開發，做到無痕嵌入EasyMR UI中，大大豐富了監控圖表的多樣化展示，除此之外，對grafana的儀表盤配置告警規則后還可以對接自研的dt-alert組件進行告警發送，
DataNode監控大盤
dt-alert
dt-alert是袋鼠云自研的專用告警通道發送組件，原生支持郵件、短信、釘釘機器人、企業微信四種方式發送告警資訊，同時也支持可擴展的自定義插件發送方式，用戶可以根據我們設定的介面規范開發自定義插件發送告警資訊到內部告警通道中，
添加告警通道
二、使用EasyMR部署Hadoop的操作原理
結合上述對EasyMR核心組件的描述，下文使用Hadoop集群的實體為大家說明，在使用EasyMR部署Hadoop時的底層操作原理：
Part.1
本地部署一套EasyMR服務，得到前端頁面訪問入口，
Part.2
通過前端頁面進入主機接入頁面進行主機接入操作，此時matrix會向easyagent-server發送請求在指定主機上安裝easyagent-sidecar，easyagent-server會將安裝腳本下發到對應主機，easyagent-sidecar安裝完畢之后會通過回呼的方式通知matrix，完成主機接入，
此外，EasyMR還會在主機上安裝node_exporter，并將采集配置寫入prometheus組態檔中，無需重啟即可熱加載配置進行主機監控資料采集，
Part.3
頁面選中Hadoop產品包，根據提示進行前期配置觸發部署操作，matrix也是通過easyagent-server向easyagent-sidecar發送下載安裝包、解壓安裝、啟動命令，啟動完成之后easyagent-sidecar會定期對服務進行健康檢查，并將結果通過easyagent-server上報到matrix，
與主機類似，EasyMR還會在主機上安裝對應服務的prometheus exporter，并將采集配置寫入prometheus組態檔中，無需重啟即可熱加載配置進行服務監控資料采集，
Part.4
進入儀表盤頁面查看Hadoop服務的圖表監控，此時查看的頁面來自于iframe嵌入的grafana，
Part.5
對儀表盤進行監控告警配置并設定告警發送通道，那么當告警觸發時（比如HDFS namenode full GC次數過大），grafana會呼叫dt-alert的介面將告警資訊發送到用戶指定的渠道，
三、EasyMR的能力優勢
袋鼠云大資料基礎平臺EasyMR不僅擁有高效、完備的系統架構，還擁有更多的亮點優勢，主要體現在以下三方面：
全面的國產化適配能力
外部環境漸趨復雜，我國正大力推進信創國產化的行程，逐步將CPU、作業系統、資料庫等基礎軟硬體技識訓成國內自主研發的技術，減少對國外產品的依賴，
EasyMR具備極強的國產化適配能力，可靈活部署在多種國產作業系統、CPU、服務器規格中，具體適配清單如下：
后續EasyMR也會繼續適配其余國產化作業系統、CPU等基礎組件，深耕信創國產化領域，為信創國產化獻出自己的力量，
豐富的組件可擴展性
EasyMR本身提供了豐富的大資料組件，包括但不限于Hadoop、Hive、Spark、Flink、HBase、Kafka、Trino，可以滿足用戶不同需求場景下對大資料集群的一站式創建、管理、部署、運維與監控，
除此之外，EasyMR還擁有一套統一的產品包schema定義規范，將產品包完整的生命周期（安裝、啟動、配置、升級、卸載等）通過標準的schema定義表示，
當后續需要添加其余型別的大資料組件時，無需對EasyMR平臺本身做出改造，只需根據規范定義新組件的產品包即可將其投入EasyMR平臺使用，
支持高可用的可靠性平臺
對于EasyMR系統架構中的多個核心組件，出于對平臺穩定性方面的考慮，EasyMR做到了核心組件支持高可用且分布式可水平擴展，
? 當一臺核心組件因為外界原因宕機后，EasyMR可以保證其余服務能夠正常運行，包括但不限于服務安裝、啟動、停止、卸載等；
? 當需要接入大資料組件的節點數量增加時可以靈活擴展核心組件的數量以適配，同理，當需要接入大資料組件的節點數量減少時也可以靈活減少核心組件的數量以節省資源，
四、EasyMR使用場景
EasyMR作為一款自主研發、完全可控，致力于助力企業資訊化智慧轉型的“企業資料底座”，可以幫助客戶輕松應對各類應用場景，
快速搭建Hadoop集群
在當前的大資料運維實踐下，當用戶需要使用Hadoop大資料分布式處理系統的時候，對用戶自身來說前期需要準備硬體環境、部署啟動Hadoop相關大資料組件，但是跟用戶相關的內容是撰寫應用程式運行作業，對于不熟悉底層大資料集群的用戶來說，這些前期準備作業非常冗長繁瑣而且出了問題也無法得到及時的解決，
并且在傳統模式下，運維手動部署一套Hadoop集群至少需要3天的，尤其當集群規模較大時，通過手動的方式更加耗費人力與物力，
但是使用EasyMR我們可以快速接入大資料節點并可以通過頁面化的方式一鍵部署Hadoop集群，整個程序可以控制在半個小時內完成，極大提升了運維部署效率，
大資料集群開啟安全
EasyMR通過集成第三方的安全管控服務Kerberos、LDAP和Ranger來分別對大資料集群做用戶安全認證、訪問用戶管理以及用戶資料權限管控，
對于使用EasyMR部署的大資料集群，用戶可以通過一鍵開啟的方式對大資料組件開啟安全認證，大大節省了傳統模式下的繁重的人工操作，
基于國產化作業系統部署大資料集群
關鍵技術國產化，是DT時代中國企業發展的必然選擇，越來越多企業開始追求軟硬體的國產替代和自主可控，
EasyMR目前已經適配多種國產作業系統與芯片架構，而且還將繼續主動針對國產化軟硬體去做適配，用戶使用EasyMR可以快速部署對應架構下的大資料集群，
寫在最后
作為全鏈路數字化技術與服務提供商，袋鼠云始終堅持自主研發和國產化路線，為攻克“卡脖子”難題，在技術創新上不遺余力，EasyMR基于最新的開源技術，為企業提供大資料基礎設施底座，致力于Cloudera CDP等國外Hadoop商業版的國產化替代，
為了可信、可控、安全的資料未來，袋鼠云在路上，
對EasyMR感興趣的用戶可以點擊添加【小袋鼠】進行咨詢，進一步了解產品詳情，
想了解或咨詢更多有關袋鼠云大資料產品、行業解決方案、客戶案例的朋友，瀏覽袋鼠云官網：https://www.dtstack.com/?src=https://www.cnblogs.com/DTinsight/archive/2022/12/01/szbky
添加【小袋鼠：dtstack001】入qun，免費獲取大資料&開源干貨
同時，歡迎對大資料開源專案有興趣的同學加入「袋鼠云開源框架釘釘技術qun」，交流最新開源技術資訊，qun號碼：30537511，專案地址：https://github.com/DTStack
轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/539010.html
標籤：其他