閱識風云是華為云資訊大咖,擅長將復雜資訊多元化呈現,其出品的一張圖(云圖說)、深入淺出的博文(云小課)或短視頻(云視廳)總有一款能讓您快速上手華為云,更多精彩內容請單擊此處,
摘要:Hue是一組WEB應用,用于和MRS大資料組件進行互動,能夠幫助用戶瀏覽HDFS,進行Hive查詢,啟動MapReduce任務等,它承載了與所有MRS大資料組件互動的應用,
本文分享自華為云社區《【云小課】EI第46課 MRS基礎原理之Hue組件介紹》,作者:閱識風云,
Hue是一組WEB應用,用于和MRS大資料組件進行互動,能夠幫助用戶瀏覽HDFS,進行Hive查詢,啟動MapReduce任務等,它承載了與所有MRS大資料組件互動的應用,
Hue主要包括了檔案瀏覽器和查詢編輯器的功能:
檔案瀏覽器能夠允許用戶直接通過界面瀏覽以及操作HDFS的不同目錄,
查詢編輯器能夠撰寫簡單的SQL,查詢存盤在Hadoop之上的資料,例如HDFS,HBase,Hive, 用戶可以方便地創建、管理、執行SQL,并且能夠以Excel的形式下載執行的結果,
通過Hue可以在界面針對組件進行以下操作:
- HDFS:
- 查看、創建、管理、重命名、移動、洗掉檔案/目錄,
- 上傳、下載檔案,
- 搜索檔案、目錄、檔案所有人、所屬用戶組;修改檔案以及目錄的屬主和權限,
- 手動配置HDFS目錄存盤策略,配置動態存盤策略等操作,
- Hive:
- 編輯、執行SQL/HQL陳述句;保存、復制、編輯SQL/HQL模板;解釋SQL/HQL陳述句;保存SQL/HQL陳述句并進行查詢,
- 資料庫展示,資料表展示,
- 支持多種Hadoop存盤,
- 通過metastore對資料庫及表和視圖進行增刪改查等操作,
說明:如果使用IE瀏覽器訪問Hue界面來執行HiveSQL,由于瀏覽器存在的功能問題,將導致執行失敗,建議使用兼容的瀏覽器,例如Google Chrome瀏覽器, - MapReduce:查看集群中正在執行和已經完成的MR任務,包括它們的狀態、起始結束時間、運行日志等,
- Oozie:提供了Oozie作業管理器功能,使用戶可以通過界面圖形化的方式使用Oozie,
- ZooKeeper:提供了ZooKeeper瀏覽器功能,使用戶可以通過界面圖形化的方式查看ZooKeeper,
Hue結構
Hue是建立在Django Python(開放源代碼的Web應用框架)的Web框架上的Web應用程式,采用了MTV(模型M-模板T-視圖V)的軟體設計模式,
Hue由“Supervisor Process”和“WebServer”構成,“Supervisor Process”是Hue的核心行程,負責應用行程管理,“Supervisor Process”和“WebServer”通過“THRIFT/REST”介面與WebServer上的應用進行互動,如圖1所示,
圖1 Hue架構示意圖
圖1中各部分的功能說明如下表所示,
如何使用Hue
本示例中,我們在已開啟Kerberos認證的MRS 3.x版本的Hue WebUI編輯并執行HiveQL陳述句,
1、登錄華為云控制臺,在服務串列選擇“大資料 > MapReduce服務”,單擊“購買集群”,選擇“自定義購買”,填寫相關配置引數(以下為示例,可根據實際情況修改,未提及引數保持默認即可),
2、單擊“立即購買”,等待MRS集群創建成功,
3、集群購買成功后,登錄FusionInsight Manager界面,
4、由于FusionInsight Manager默認的admin用戶不具有組件的最高管理權限,我們首先登錄FusionInsight Manager,創建一個人機用戶,并分配該用戶使用Hive的權限,
例如創建一個“人機”用戶“hueuser”,并加入“hive”、“hadoop”組和“Manager_administrator”角色,主組為“hive”,
5、登錄FusionInsight Manager,選擇“集群 > 服務 > Hue”,
6、在“Hue WebUI”右側,單擊鏈接,打開Hue的WebUI,
7、在左側導航欄單擊編輯器對于符合,然后選擇“Hive”,
8、在“Database”右側下拉串列選擇一個Hive中的資料庫,默認資料庫為“default”,
系統將自動顯示資料庫中的所有表,可以輸入表名關鍵字,系統會自動搜索包含此關鍵字的全部表,
9、在HiveQL陳述句編輯區輸入HiveQL陳述句,
create table hue_table(id int,name string,company string) row format delimited fields terminated by ',' stored as textfile;
10、單擊 開始按鈕,開始執行HiveQL陳述句,
11、在命令輸入框內輸入show tables;,單擊按鈕,查看創建的表hue_table,
----結束
好了,本期云小課就介紹到這里,快去體驗MapReduce(MRS)更多功能吧!猛戳這里
點擊關注,第一時間了解華為云新鮮技術~
轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/545008.html
標籤:大數據
上一篇:MySQL調優
