前言
大家好，我是程式員
manor，作為一名大資料專業學生、愛好者，深知面試重要性，很多學生已經進入暑假模式，暑假也不能懈怠，正值金九銀十的秋招
接下來我準備用30天時間，基于大資料開發崗面試中的高頻面試題，以每日5題的形式，帶你過一遍常見面試題及恰如其分的解答，相信只要一路走來，榷訓月累，我們侄訓在最高處見，
以古人的話共勉：道阻且長，行則將至；行而不輟，未來可期！
本欄目大資料開發崗高頻面試題主要出自
大資料技術專欄的各個小專欄,由于個別筆記上傳太早,排版雜亂,后面會進行原文美化、增加，
文章目錄
- 前言
- 面試題 01、請簡述LSM模型的設計思想
- 面試題02、什么是Flush，什么時候會觸發Flush？
- 面試題03、什么是Compaction，什么時候會觸發Compaction？
- 面試題04、什么是Spit，什么時候會觸發Split？
- 面試題05、MapReduce讀取Hbase資料的原理及回傳值是什么？
- 總結
停🤚
不要往下滑了，
默默想5min，
看看這5道面試題你都會嗎？
面試題 01、請簡述LSM模型的設計思想
面試題02、什么是Flush，什么時候會觸發Flush？
面試題 03、什么是Compaction，什么時候會觸發Compaction？
面試題04、什么是Spit，什么時候會觸發Split？
面試題05、MapReduce讀取Hbase資料的原理及回傳值是什么？
以下答案僅供參考：
面試題 01、請簡述LSM模型的設計思想
?step1：資料寫入的時候，只寫入記憶體
?step2：將資料在記憶體構建有序，當資料量大的時候，將有序的資料寫入磁盤，變成一個有序的資料檔案
?step3：基于所有有序的小檔案進行合并，合并為一個整體有序的大檔案
面試題02、什么是Flush，什么時候會觸發Flush？
?Flush是指將memstore中的資料寫入HDFS，變成StoreFile
?2.0之前：判斷memstore存盤大小，單個memstore達到128M就會觸發Flush，或者整個memstore達到95%就會觸發
?2.0之后：根據平均每個memstore的存盤大小與16M取最大值計算水位線，高于水位線就Flush，不高于就不Flush，都不高于全部Flush
面試題03、什么是Compaction，什么時候會觸發Compaction？
?Compaction的功能是將多個單獨有序StoreFile檔案進行合并，合并為整體有序的大檔案并且洗掉過期資料，加快讀取速度
?2.0之前：通過minor compaction和major compaction來實作
–minor compaction：用于合并最早生成的幾個小檔案，不清理過期資料
–major compaction：用于將所有storefile合并為一個StoreFile，并清理過期資料
?2.0之后：除了minor compaction和major compaction，添加了in-memory-compaction
–In-memory compaction：在記憶體中進行合并，合并以后的結果再進行flush，有四種配置
?none：不開啟
?basic：開啟，但是合并時不洗掉過期資料
?eager：開啟，合并時并清理洗掉過期資料
?adaptive：開啟，并在合并時根據資料量來自動判斷是否清理過期資料
面試題04、什么是Spit，什么時候會觸發Split？
?Split是指當一個Region存盤的資料過多，導致這個Region的負載比較高，Hbase中設定了一個Region最多存盤的資料量的閾值，一旦達到閾值，允許Region分裂為兩個region，老的region會下線，新的兩個region對外提供服務
?0.94之前：ConstantSizeRegionSplitPolicy
–只要region中的storefile達到10G，就分裂
?2.0之前：IncreasingToUpperBoundRegionSplitPolicy
–根據Region個數來實作計算，當達到4個region以后，也是按照10GB來分裂
?2.0之后：SteppingSplitPolicy
–Region個數等于1個：按照256M來分裂
–Region個數超過1個：按照10GB來分裂
面試題05、MapReduce讀取Hbase資料的原理及回傳值是什么？
?MapReduce讀取Hbase原理：封裝了一個TableInputFormat來實作讀取Hbase的資料
?回傳值
–每個Region對應一個分片，每個分片啟動一個MapTask進行處理
–每個Rowkey的資料變成一個KV對
–K是Rowkey的位元組物件：ImmutableBytesWriable型別
–V是Rowkey的資料物件：Result型別
總結
今天我們復習了面試中常考的Hbase相關的五個問題，你做到心中有數了么？
其實做這個專欄我也有私心，就是希望借助每天寫一篇面試題，督促自己學習，以免在吹水群甚至都沒有談資！
對了，如果你的朋友也在準備面試，請將這個系列扔給他，
好了，今天就到這里，學廢了的同學，記得在評論區留言：打卡，給同學們以激勵，
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/292166.html
標籤：其他
上一篇：超級詳細！！！Spring Cloud + Alibaba完整詳細知識點總結Eureka、Zookeeper、Hystrix、Gateway、Nacos、Sentinel、Seata。