注：此文章內容均節選自充電了么創始人，CEO兼CTO陳敬雷先生的新書《分布式機器學習實戰》（人工智能科學與技術叢書）【陳敬雷編著】【清華大學出版社】

前言

Hbase經常用來存盤實時資料，比如Storm/Flink/Spark-Streaming消費用戶行為日志資料進行處理后存盤到Hbase，通過Hbase的API也能夠毫秒級別的實時查詢，如果是對Hbase做非實時的離線資料統計，我們可以通過Hive建一個到Hbase的映射表，然后寫Hive SQL來對Hbase的資料進行統計分析，并且這種方式可以方便的和其它的Hive表做關聯查詢，做更復雜的統計，所以從互動形勢上Hbase滿足了實時和離線的應用場景，在互聯網公司應用的也非常普遍，

Hbase原理和功能介紹

HBase是一個分布式的、面向列的開源資料庫，該技術來源于 Fay Chang 所撰寫的Google論文“Bigtable：一個結構化資料的分布式存盤系統”，就像Bigtable利用了Google檔案系統（File System）所提供的分布式資料存盤一樣，HBase在Hadoop之上提供了類似于Bigtable的能力，HBase是Apache的Hadoop專案的子專案，HBase不同于一般的關系資料庫，它是一個適合于非結構化資料存盤的資料庫，另一個不同的是HBase基于列的而不是基于行的存盤模式，

1. Hbase特性

1）HBase構建在HDFS之上
HBase是一個構建在HDFS上的分布式列存盤系統，可以通過Hive的方式來查詢Hbase資料，
2）HBase是key/value系統
HBase是基于Google BigTable模型開發的，典型的key/value系統，
3）HBase用于海量結構化資料存盤
HBase是Apache Hadoop生態系統中的重要一員，主要用于海量結構化資料存盤，
4）分布式存盤
HBase將資料按照表、行和列進行存盤，與Hadoop一樣，Hbase目標主要依靠橫向擴展，通過不斷增加廉價的商用服務器，來增加計算和存盤能力，
5）Hbase表和列都大
Hbase表的特點大：一個表可以有數十億行，上百萬列，
6）無模式
每行都有一個可排序的主鍵和任意多的列，列可以根據需要動態的增加，同一張表中不同的行可以有截然不同的列，這是Mysql關系資料庫做不到的，
7）面向列
面向列（族）的存盤和權限控制，列（族）獨立檢索； 稀疏：空（null）列并不占用存盤空間，表可以設計的非常稀疏，
8）資料多版本
每個單元中的資料可以有多個版本，默認3個版本，是單元格插入時的時間戳，

2. Hbase的架構核心組件

Hbase的架構核心組件有Client、Hmaster、HRegionServer、ZooKeeper集群是協調系統等，最核心的是Hmaster、HRegionServer，Hmaster是Hbase的主節點，HRegionServer是從節點，Hbase必須依賴于ZooKeeper集群，
1）Client
訪問HBase的介面，并維護Cache來加快對HBase的訪問，比如Region的位置資訊，
2）Hmaster
（1）管理HRegionServer，實作其負載均衡；
（2）管理和分配HRegion，比如在HRegion split時分配新的HRegion；在HRegionServer退出時遷移其內的HRegion到其他HRegionServer上；
（3）實作DDL操作（Data Definition Language，namespace和table的增刪改，column familiy的增刪改等）；
（4）管理namespace和table的元資料（實際存盤在HDFS上）；
（5）權限控制（ACL），
3）HRegionServer
（1）存放和管理本地HRegion；
（2）讀寫HDFS，管理Table中的資料；
（3）Client直接通過HRegionServer讀寫資料（從HMaster中獲取元資料，找到RowKey所在的HRegion/HRegionServer后），
4）ZooKeeper集群是協調系統
（1）存放整個HBase集群的元資料以及集群的狀態資訊；
（2）實作HMaster主從節點的failover；
HBase Client通過RPC方式和HMaster、HRegionServer通信，一個HRegionServer可以存放1000個HRegion，底層Table資料存盤于HDFS中，而HRegion所處理的資料盡量和資料所在的DataNode在一起，實作資料的本地化，

Hbase資料結構和表詳解

Hbase資料表由行鍵、列族組成，行鍵可以認為是資料庫的主鍵，一個列族下面可以有多個列，并且列可以動態的增加，這是Hbase的優勢，本身就是一個列式存盤的資料庫，這點和Mysql關系資料庫不一樣，Mysql一旦列固定了，就不能動態增加了，這點Hbase非常靈活，可以根據業務需求動態創建一個列，下面我看下表結構都有哪組成：
1.行鍵Row Key
主鍵是用來檢索記錄的主鍵，訪問Hbase Table中的行，
2.列族Column Family
Table在水平方向有一個或者多個ColumnFamily組成，一個ColumnFamily中可以由任意多個Column組成，即ColumnFamily支持動態擴展，無需預先定義Column的數量以及型別，所有Column均以二進制格式存盤，用戶需要自行進行型別轉換，
3.列column
由Hbase中的列族ColumnFamily + 列的名稱（cell）組成列，
4.單元格cell
Hbase中通過row和columns確定的列，一個存盤單元稱為cell，
5.版本version
每個 cell都保存著同一份資料的多個版本，版本通過時間戳來索引，默認三個版本，
6.下面是一個Hbase資料結構表實體，如表3.1所示：

表3.1 Hbase表結構說明

說明：例子中表中有一條資料，rowkey主鍵是kc61800001，兩個列族，一個是name名稱，它只有一個列kcname，另一個列族kcsaleinfo有兩個列price和issale

總結

此文章還有對應的配套視頻，其它更多精彩文章請大家下載充電了么app，可獲取千萬免費好課和文章，配套教材請看陳敬雷新書：《分布式機器學習實戰》（人工智能科學與技術叢書）

【新書介紹】
《分布式機器學習實戰》（人工智能科學與技術叢書）【陳敬雷編著】【清華大學出版社】
新書特色：深入淺出，逐步講解分布式機器學習的框架及應用配套個性化推薦演算法系統、人臉識別、對話機器人等實戰專案

【新書介紹視頻】
分布式機器學習實戰（人工智能科學與技術叢書）新書【陳敬雷】

視頻特色：重點對新書進行介紹，最新前沿技術熱點剖析，技術職業規劃建議！聽完此課你對人工智能領域將有一個嶄新的技術視野！職業發展也將有更加清晰的認識！

【精品課程】
《分布式機器學習實戰》大資料人工智能AI專家級精品課程

【免費體驗視頻】：

人工智能百萬年薪成長路線/從Python到最新熱點技術

從Python編程零基礎小白入門到人工智能高級實戰系列課

視頻特色： 本系列專家級精品課有對應的配套書籍《分布式機器學習實戰》，精品課和書籍可以互補式學習，彼此相互補充，可以大大提高學習效率，課程核心內容包括互聯網公司大資料和人工智能那些事、大資料演算法系統架構、大資料基礎、Python編程、Java編程、Scala編程、Docker容器、Mahout分布式機器學習平臺、Spark分布式機器學習平臺、分布式深度學習框架和神經網路演算法、自然語言處理演算法、工業級完整系統實戰（推薦演算法系統實戰、人臉識別實戰、對話機器人實戰）、就業/面試技巧/職業生涯規劃/職業晉升指導等內容，

【充電了么公司介紹】

充電了么App是專注上班族職業培訓充電學習的在線教育平臺，

專注作業職業技能提升和學習，提高作業效率，帶來經濟效益！今天你充電了么？

充電了么App官網下載地址
https://a.app.qq.com/o/simple.jsp?pkgname=com.charged.app

功能特色：

【全行業職位】 - 專注職場上班族職業技能提升

【牛人課堂】 - 學習牛人的作業經驗

【精品閱讀】 - 技能文章興趣閱讀

【精短課程】 - 高效學習知識