HBase的資料結構原理與使用

一、HBase簡介

HBase是一個開源的、分布式的、版本化的NoSQL資料庫（即非關系型資料庫），依托Hadoop分布式檔案系統HDFS提供分布式資料存盤，利用MapReduce來處理海量資料，用Zookeeper作為其分布式協同服務，一般用于存盤海量資料，HDFS和HBase的區別在于，HDFS是檔案系統，而HBase是資料庫，HBase只是一個NoSQL資料庫，把資料存在HDFS上，可以把HBase當做是MySQL，把HDFS當做是硬碟，

二、HBase的資料結構

1、索引結構：LSM樹

 傳統關系型資料普通索引采用B+樹，B+樹最大的性能問題是會產生大量的隨機IO，隨著新資料的插入，葉子節點會慢慢分裂，邏輯上連續的葉子節點在磁盤存盤上往往不連續，分離得很遠，隨機讀寫概率會變大，做范圍查詢時，會產生大量讀隨機IO，為了克服B+樹的弱點，HBase引入了LSM樹的概念，即Log-Structured Merge-Trees，直譯為日志結構合并樹，基于LSM樹實作的HBase的寫性能相比Mysql放棄部分磁盤讀性能，換取寫性能的大幅提升，

 LSM樹嚴格來說不是一個具體的資料結構，更多是一種資料結構的設計思想，LSM樹不是一棵樹，而是由至少兩個存盤結構構成，假設這兩顆樹分別為C0和C1，C0比較小，全部駐于記憶體之中，具體可以是任何方便健值查找的資料結構，而C1則駐于機械硬碟，一條新的記錄先是從C0中插入，如果這一次的插入造成了C0資料量超出了閥值，那么C0中的部分些資料片段則會直接合并到C1樹中，如果有多級樹，當C1體量越來越大就向C2合并，低級的樹在達到大小閾值后也會在磁盤中進行合并，以此類推，一直往上合并Ck，

LSM樹的設計思想：

劃分不同等級的樹，將對資料的修改增量保持在記憶體中，資料更新只在記憶體中操作，沒有磁盤訪問，達到指定的大小限制后將這些修改操作批量寫入磁盤，由于記憶體的讀寫速率都比磁盤要快非常多，因此資料寫入記憶體的效率很高，隨著小樹越來越大，達到指定的閥值限制后將這些修改操作批量寫入磁盤，磁盤中的樹定期做多路歸并操作，合并成一棵大樹，以優化讀性能，隨機讀寫比順序讀寫慢很多，為了提升IO性能，需要將隨機操作變為順序操作，LSM樹使用日志檔案和一個記憶體存盤結構把隨機寫轉化成順序寫，讀寫獨立，資料從記憶體刷入磁盤時是預排序的，寫性能大幅提升，讀取的時候稍微麻煩，需要先看是否命中記憶體，如果讀取的是最近訪問過的資料則可以命中，否則需要訪問較多的磁盤檔案，

使用LSM樹的資料庫除了HBase，還有nessDB、levelDB、TiDB、RocksDB等，

（圖中MongoDB只有WiredTiger(WT)存盤引擎既支持B-樹，又支持LSM樹存盤索引，）

2、存盤結構

HBase的LSM樹中存盤的是多個Key-Value結構組成的集合，每一個Key-Value一般都會用一個位元組陣列來表示，這個位元組陣列串設計如圖所示：

（圖源：胡爭，范欣欣《HBase原理與實踐》第二章《基礎資料結構與演算法》）

位元組陣列主要分為以下幾個欄位，其中Rowkey、Family、Qualifier、Timestamp、Type這5個欄位組成KeyValue中的key部分，

? keyLen：用來存盤KeyValue結構中Key所占用的位元組長度，

? valueLen：用來存盤KeyValue結構中Value所占用的位元組長度，

? rowkeyLen：用來存盤rowkey占用的位元組長度，

? rowkeyBytes：用來存盤rowkey的二進制內容，

? familyLen：用來存盤Family占用的位元組長度，

? familyBytes：用來存盤Family的二進制內容，

? qualif ierBytes：用來存盤Qualif ier的二進制內，注意，HBase并沒有單獨分配位元組用來存盤qualif ierLen，因為可以通過keyLen和其他欄位的長度計算出qualif ierLen，

? timestamp：表示timestamp對應的long值，

? type：表示這個KeyValue操作的型別，HBase內有Put、Delete、Delete Column、DeleteFamily，等等，

HBase的LSM樹在記憶體一般采用跳躍表存盤，跳躍表的查找、洗掉、插入的復雜度都是O(logN)，

LSM樹在磁盤中的資料結構也不是樹結構，而是Key-Value結構組成的序列，稱為SSTable(Sorted String Table)有序字串表，當SSTable太大時，為了加快SSTable的讀取，可以將其劃分為多個塊，通過記錄每個塊的起始位置，構建每個SSTable的稀疏索引，這樣在讀SSTable前，通過索引就知道要讀取的資料塊磁盤位置了，SSTable索引需要永遠加載在記憶體里，寫是寫記憶體，因此隨機寫十分快，讀也是讀記憶體里的 SSTable的索引，并且這里每一個SSTable索引如果用二分法查找，演算法復雜度大致在O(lg(n))與O(n)之間，因此隨機讀也不慢，

3、表結構

與傳統的關系型資料庫類似，HBase也以表的形式組織資料，表也由行和列組成，不同的是，HBase采用列式存盤，

如上圖所示的表，如果采用列式存盤，會存成下圖的結構：

可以發現，列式存盤就是把每列抽出來，然后關聯上ID，實際上是用Key-Value結構保存的，這樣的優點在于，當表格中有空缺時，可以充分利用存盤空間，

對HBase來說，一行資料由一個行鍵（RowKey）和一個或多個相關的列以及它的值所組成，列的組成都是靈活的，行與行之間的列不需要相同，行鍵（RowKey）就是SSTable的key，

在HBase里邊，先有列族（也叫“列簇”，Column Family），后有列，列族將一列或者多列組織在一起，HBase的每一個列都必須屬于某個列族，HBase的列都得歸屬到列族中，如圖所示：

資料寫到HBase的時候都會被記錄一個時間戳，這個時間戳被我們當做一個版本，比如說，我們修改或者洗掉某一條的時候，本質上是往里邊新增一條資料，記錄的版本加一了而已，如圖所示：

被更新和洗掉的資料不會直接從磁盤上洗掉，而是為資料添加一個洗掉標記，查找時會跳過被洗掉的鍵，DBA運維會定期洗掉被標記洗掉的資料，因此，如果存在頻繁覆寫洗掉需要提前向運維報備以免影響資料庫性能，

三、HBase的使用

1、HBase的讀寫

HBase提供了多種模式、多種語言的訪問介面，目前常用的包括Native Java API，Thrift和MapReduce模式，

（1）Java API是HBase提供的原生介面，具備完善的客戶端處理邏輯，直接與HBase Server進行通信，效率最高，但受限于語言限制；

（2）Thrift不受語言限制，但會占用額外的網路帶寬和處理時間；

（3）HBase還支持了MapReduce，可以通過撰寫MapReduce任務進行批量資料操作，

使用GoLang和PHP語言搭建的專案顯然得用Thrift介面，

常用的HBase的資料操作get、scan和put三種，

（1）get實作隨機讀取功能，根據指定RowKey獲取惟一一條記錄，

（2）scan提供批量查詢功能，按照指定的條件獲取一批記錄，通過指定起始和中止的key，即可獲取所有包含在內的key對應的資料，可以通過setStartRow與setEndRow來限定范圍，也可以通過setFilter方法添加過濾器，這也是分頁、多條件查詢的基礎，用setCaching和setBatch方法能提高速度，

（3）put實作寫入，如果要批量匯入大規模資料，還可以采用bulkimport的方式，

2、行鍵（RowKey）設計

Rowkey相當于HBase中資料的主鍵，HBase中的資料是按照RowKey的ASCII字典順序進行全域排序，可以使相關行彼此靠近存盤，如果Rowkey設計不當會引發熱點問題，即客戶端大量的讀寫請求都集中在一個或幾個節點上，從而導致性能下降，為防止資料寫入時出現熱點，資料被寫入時應寫入集群中的多個區域，而不是一次寫入一個區域（Hregion），

設計原則：

1、唯一原則，要保證Rowkey的唯一性，若HBase中同一表插入相同Rowkey，則原先的資料會被覆寫掉，設計Rowkey的時候，要充分利用這個排序的特點，將經常讀取的資料存盤到一塊，將最近可能會被訪問的資料放到一塊，

2、長度原則，Rowkey長度越短越好，一般不要超過16位元組，因為RowKey是一個二進制碼流，可以是任意字串，最大長度64KB，實際應用中一般為10-100位元組，以byte[]形式保存，如果RowKey過長比如500個位元組，1000萬列資料僅RowKey就要占用5GB空間，非常影響HFile的存盤效率，

3、散列原則，用時間戳作為Rowkey的前綴會導致大量資料堆積在一個區域進而導致熱點問題，如果Rowkey是按時間戳的方式遞增，不要將時間放在二進制碼的前面，建議將Rowkey的高位作為散列欄位，低位放時間欄位，

3、列族（Column Family）的設計

設計原則：

1、列族的名稱盡可能短，甚至可以是一個字符，例如，“d”表示資料/默認值，

2、HBase當前不能很好地處理超過兩個或三個列族的資料，因此請保持列族的數量較少，最好使用一個列族，僅在資料訪問通常是列范圍的情況下才引入第二和第三列族，即，一次只查詢一個列族，通常不會查詢兩個列族，

3、將相同IO特性的列放入同一列族，

4、多個列族中的資料（行數）分布大致均勻，

5、對于臨時性的列族可以設定失效時間，一旦達到到期時間，HBase將自動洗掉行，

4、HBase Shell的安裝和使用

HBase自帶的操作工具只有HBase Shell這一命令列終端，通過HBase Shell工具，可以互動式地進行資料管理，包括插入資料、洗掉資料等，雖然也有一些第三方圖形界面客戶端支持HBase，如DBeaver、BigInsights、HbaseGUI，但系統部的HBase只支持HBase Shell，

安裝HBase Shell需要先挑選一臺用于安裝的虛擬機，為該虛擬機安裝Java環境，之后在系統部奇麟大資料的客戶端管理頁面選擇“添加客戶端賬號”，申請為該虛擬機添加專案賬號，申請通過后勾選機器，單擊“部署Hadoop環境”在該機器上安裝HBase Shell，

安裝成功后，到虛擬機上使用sudo -iu命令先切換到專案賬號，然后切換到目錄cd $HBASE_HOME/bin，運行hbase shell，即可進入HBase Shell程式，

這里列出幾個常用的HBase Shell命令：

5、MongoDB資料遷移HBase

使用kettle等工具可以把MongoDB資料庫遷移到HBase，也可以使用MapReduce處理，速度遠快于Java API和Thrift，

參考文獻：

胡爭，范欣欣.HBase原理與實踐M.北京：機械工業出版社，2019

O’Neil, P., Cheng, E., Gawlick, D., & O’Neil, E. (1996). The log-structured merge-tree (LSM-tree). Acta Informatica, 33(4), 351-385.

標籤：其他

上一篇：Hbase安裝和shell客戶端操作

下一篇：返回列表