主頁 > 軟體設計 > 面試時遇到一致性哈希演算法這樣回答會讓面試官眼前一亮

面試時遇到一致性哈希演算法這樣回答會讓面試官眼前一亮

2021-02-04 12:50:14 軟體設計

面試中一致性哈希演算法被問到的概率非常大,本文將從如下三個方面探探一致性哈希演算法,讓大家輕松應對面試,并且說出宇宙不同的答案,

  • 一致性哈希演算法經典實用場景
  • 一致性哈希演算法通常不適合用于服務類負載均衡
  • 面試應對之策

1、一致性哈希演算法經典使用場景

在資料庫存盤領域如果單表資料量很大,通常會采用分庫分表,同樣在快取領域同樣需要分庫,下面以一個非常常見的Redis分庫架構為例進行闡述,
在這里插入圖片描述
將上述3個Redis節點稱之為分片,每一個節點存盤部分資料,期間需要使用負載均衡演算法,將資料盡量分攤到各個節點,充分發揮分布式的優勢,提升系統快取訪問的性能,

在分布快取領域,對資料存在新增與查詢,即資料通過路由演算法存盤在某一個節點后,查詢時需要盡量路由到同一個節點,否則會出現查詢未命中快取的情況,這也是與分布式服務呼叫領域的負載演算法一個不同點,

分布式快取存盤類領域的負載均衡演算法通常會使用某一個欄位當分片鍵,在進行負載之前先求出分片欄位對應的HashCode,然后與當前的節點數取模,即 hashcode(分片鍵) % 節點總數(分片總數)

1.1 在分布式快取領域上述演算法的弊端

先哈希再驅魔實作起來簡單高效,但在分布式快取領域存在一個致命的痛點,對擴容、縮容不友好,會降低快取的命中率,

因擴容引起的資料命中率問題示意圖如下:
在這里插入圖片描述
例如當前集群中由3個節點存盤,例如現在向集群中寫入6個資料,其分片鍵的hashcode為1-6,資料的分布情況如上述所示,但由于隨著業務的急劇增長,3臺redis已經無法滿足業務的需求,專案組決定對其進行擴容,從原先的3臺擴容到4臺,這個時候專案組嘗試去快取中查找 k1,k2,k3,k4,k5,k6時會出現什么問題?

根據 hashcode 再取模的方式,由于數量從3臺到4臺,經路由演算法路由后,k4 會嘗試從3.169的機器去查找,但對應的資料卻存盤在3.166上,以上面6個key的命中來看,只有50%的命中率,擴容后帶來快取穿透,大量資料進入到后臺資料庫,

在資料存盤領域的第一種解決方案:成倍擴容,將原來的3個節點數量擴充倍,新增加的第一臺資料來源于第一臺,以此類推,第6臺的資料來源于第3臺,這樣k6經過新的負載均衡演算法會落到第6臺,資料原本存在于第3臺,而第6臺的資料來源于第3臺,這樣避免了快取穿透

成倍擴容能有效解決擴容后帶來的快取穿透問題,但這樣做會造成資源的浪費,有沒有其他更好的方法呢?

一致性哈希演算法閃亮登場,

1.2 一致性哈希演算法

一致性哈希演算法

一致性哈希演算法的設計理念如下圖所示:
在這里插入圖片描述
首先將哈希值映射到 0 ~ 2的32次方的一個圓中,然后將實際的物理節點的IP地址或取其hash值,放入到hash環中,

然后對需要插入的資料先求哈希,再順時針沿著哈希環,找到第一個實際節點,資料將存盤到該實際節點上,

擴容后的示例圖:
在這里插入圖片描述
從中可以看到受影響的范圍能控制在兩個節點的hashcode之間的部分資料,比起先哈希再取模,其未命中率將會得到極大的影響,

但一致性哈希演算法要得到較好的效果,取決于各個物體節點在哈希環的分布情況,是否能分散,例如如下分布則會大打折扣:
在這里插入圖片描述
這種情況會造成資料分布不均衡,為了解決資料很可能分布不均勻的情況,對一致性哈希演算法,提出了改進,引入了虛擬節點的,可以設定一個哈希環中存在多少個虛擬節點,然后將虛擬節點映射到物體節點,從而解決資料分布吧均衡的問題,
在這里插入圖片描述
這樣通過為不同的的實際節點映射不同的虛擬節點,實作資料的均勻分布,并且擴容或縮容時并不會出現大面積的快取穿透,

溫馨提示:上述的映射只是一個理想狀態,其核心思路是為每一個物體節點創建多個虛擬節點,并且核心虛擬節點的Hash值越分散越好,

大家可以思考一下,如何用JAVA來實作一致性哈希演算法?

一致性哈希演算法的兩個關鍵:

  • 順時針選擇節點
    可以使用TreeMap,一來具備排序功能,天然提供了相應的方法獲取順時針的一個元素,
    TreeMap 的 ceilingEntry()方法用于回傳與大于或等于給定鍵元素(ele)的最小鍵元素鏈接的鍵值對,

  • 虛擬節點如何生成分散的哈希值
    生成分散的哈希值,通常可以基于md5加密演算法來實作,
    在這里插入圖片描述

2、一致性哈希演算法被“濫用”

一致性哈希演算法在面對分布式快取有著得天獨厚的優勢,因為它的產生就是為了解決分布式快取擴容、縮容帶來的快取穿透問題,但現在一致性在分布式服務呼叫的負載演算法竟然也引入了一致性哈希演算法,

在Dubbo中為了實作客戶端在服務呼叫時對服務提供者進行負載均衡,官方也提供了一致性哈希演算法;在RocketMQ集群消費模式時消費佇列的負載均衡機制竟然也實作了一致性哈希演算法,但我覺得一致性哈希演算法在這些領域完全無法發揮其他優勢,比輪循、加權輪循、隨機、加權隨機演算法等負載均衡演算法相比,實作復雜,性能低下,運維管理復雜

因為在服務呼叫等負載均衡演算法,多次服務呼叫之間關聯性不太強,在服務端擴容、縮容后,對于客戶端來說其實并不關心路由到哪臺服務器,其關心的是能否回傳一臺服務器即可,

3、面試應對之策

在面試程序中,遇到一致性哈希算的時候,盡量能從其使用場景:分布式快取負載均衡,特別是突出擴容、縮容能有效避免快取穿透的問題,同時需要闡述一致性哈希演算法的缺陷以及其應對策略(虛擬節點),

聊的差不多可以順便提一下閱讀過一致性哈希演算法的原始碼:強調TreeMap與虛擬節點哈希值的生成方法,

最后可以嘗試引導面試官聊聊現在一致性哈希演算法有點被濫用的嫌疑,在輕松愉快的討論中與面試交流技術,面試官好評度蹭蹭往上漲,


歡迎加筆者微信號(dingwpmz),拉您如技術交流加群探討,關注『中間件興趣圈』回復**【PDF】**可獲取海量學習資料,
在這里插入圖片描述

中間件興趣圈 CSDN認證博客專家 RocketMQ 資深架構師 中間件興愛好者
丁威,《RocketMQ技術內幕》作者、CSDN博客專家,原創公眾號『中間件興趣圈』維護者,目前就職于中通快遞研發中心擔任資深架構師,負責訊息中間件與全鏈路壓測的實施與落地,歡迎大家加我個人微信:dingwpmz,拉您入技術交流群,共同發展,抱團取暖,擅長JAVA編程,對主流中間件RocketMQ、Dubbo、ElasticJob、Netty、Sentienl、Mybatis、Mycat等中間件有深入研究,

轉載請註明出處,本文鏈接:https://www.uj5u.com/ruanti/256355.html

標籤:其他

上一篇:用serverless給SaaS賦能

下一篇:kubernetes in action 讀后感

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • 面試突擊第一季,第二季,第三季

    第一季必考 https://www.bilibili.com/video/BV1FE411y79Y?from=search&seid=15921726601957489746 第二季分布式 https://www.bilibili.com/video/BV13f4y127ee/?spm_id_fro ......

    uj5u.com 2020-09-10 05:35:24 more
  • 第三單元作業總結

    1.前言 這應該是本學期最后一次寫作業總結了吧。總體來說,對作業的節奏也差不多掌握了,作業做起來的效率也更高了。雖然和之前的作業一樣,作業中都要用到新的知識,但是相比之前,更加懂得了如何利用工具以及資料。雖然之間卡過殼,但總體而言,這幾次作業還算完成的比較好。 2.作業程序總結 相比前兩個單元,此單 ......

    uj5u.com 2020-09-10 05:35:41 more
  • 北航OO(2020)第四單元博客作業暨課程總結博客

    北航OO(2020)第四單元博客作業暨課程總結博客 本單元作業的架構設計 在本單元中,由于UML圖具有比較清晰的樹形結構,因此我對其中需要進行查詢操作的元素進行了包裝,在樹的父節點中存盤所有孩子的參考。考慮到性能問題,我采用了快取機制,一次查詢后盡可能快取已經遍歷過的資訊,以減少遍歷次數。 本單元我 ......

    uj5u.com 2020-09-10 05:35:48 more
  • BUAA_OO_第四單元

    一、UML決議器設計 ? 先看下題目:第四單元實作一個基于JDK 8帶有效性檢查的UML(Unified Modeling Language)類圖,順序圖,狀態圖分析器 MyUmlInteraction,實際上我們要建立一個有向圖模型,UML中的物件(元素)可能與同級元素連接,也可與低級元素相連形成 ......

    uj5u.com 2020-09-10 05:35:54 more
  • 6.1邏輯運算子

    邏輯運算子 1. && 短路與 運算式1 && 運算式2 01.運算式1為true并且運算式2也為true 整體回傳為true 02.運算式1為false,將不會執行運算式2 整體回傳為false 03.只要有一個運算式為false 整體回傳為false 2. || 短路或 運算式1 || 運算式2 ......

    uj5u.com 2020-09-10 05:35:56 more
  • BUAAOO 第四單元 & 課程總結

    1. 第四單元:StarUml檔案決議 本單元采用了圖模型決議UML。 UML檔案可以抽象為圖、子圖、邊的邏輯結構。 在實作中,圖的節點包括類、介面、屬性,子圖包括狀態圖、順序圖等。 采用了三次遍歷UML元素的方法建圖,第一遍遍歷建點,第二、三次遍歷設定屬性、連邊,實作圖物件的初始化。這里借鑒了一些 ......

    uj5u.com 2020-09-10 05:36:06 more
  • 談談我對C# 多型的理解

    面向物件三要素:封裝、繼承、多型。 封裝和繼承,這兩個比較好理解,但要理解多型的話,可就稍微有點難度了。今天,我們就來講講多型的理解。 我們應該經常會看到面試題目:請談談對多型的理解。 其實呢,多型非常簡單,就一句話:呼叫同一種方法產生了不同的結果。 具體實作方式有三種。 一、多載 多載很簡單。 p ......

    uj5u.com 2020-09-10 05:36:09 more
  • Python 資料驅動工具:DDT

    背景 python 的unittest 沒有自帶資料驅動功能。 所以如果使用unittest,同時又想使用資料驅動,那么就可以使用DDT來完成。 DDT是 “Data-Driven Tests”的縮寫。 資料:http://ddt.readthedocs.io/en/latest/ 使用方法 dd. ......

    uj5u.com 2020-09-10 05:36:13 more
  • Python里面的xlrd模塊詳解

    那我就一下面積個問題對xlrd模塊進行學習一下: 1.什么是xlrd模塊? 2.為什么使用xlrd模塊? 3.怎樣使用xlrd模塊? 1.什么是xlrd模塊? ?python操作excel主要用到xlrd和xlwt這兩個庫,即xlrd是讀excel,xlwt是寫excel的庫。 今天就先來說一下xl ......

    uj5u.com 2020-09-10 05:36:28 more
  • 當我們創建HashMap時,底層到底做了什么?

    jdk1.7中的底層實作程序(底層基于陣列+鏈表) 在我們new HashMap()時,底層創建了默認長度為16的一維陣列Entry[ ] table。當我們呼叫map.put(key1,value1)方法向HashMap里添加資料的時候: 首先,呼叫key1所在類的hashCode()計算key1 ......

    uj5u.com 2020-09-10 05:36:38 more
最新发布
  • 【中介者設計模式詳解】C/Java/JS/Go/Python/TS不同語言實作

    * 中介者模式是一種行為型設計模式,它可以用來減少類之間的直接依賴關系,
    * 將物件之間的通信封裝到一個中介者物件中,從而使得各個物件之間的關系更加松散。
    * 在中介者模式中,物件之間不再直接相互互動,而是通過中介者來中轉訊息。 ......

    uj5u.com 2023-04-20 08:20:47 more
  • 露天煤礦現場調研和交流案例分享

    他們集團的資訊化公司及研究院在一個礦區正在做智能礦山的統一平臺的 試點,專案投資大概1億,包括了礦山的各方面的內容,顯示得我們這次交流有點多余。他們2年前開始做智能礦山的規劃,有很多煤礦行業專家的加持,他們的描述是非常完美,但是去年底應該上線的平臺,現在還沒有看到影子。他們確實有很多場景需求,但是被... ......

    uj5u.com 2023-04-20 08:20:25 more
  • 《社區人員管理》實戰案例設計&個人案例分享

    設計是一個讓人夢想成真程序,開始編碼、測驗、除錯之前進行需求分析和架構設計,才能保證關鍵方面都做正確 ......

    uj5u.com 2023-04-20 08:20:17 more
  • 軟體架構生態化-多角色交付的探索實踐

    作為一個技術架構師,不僅僅要緊跟行業技術趨勢,還要結合研發團隊現狀及痛點,探索新的交付方案。在日常中,你是否遇到如下問題 “ 業務需求排期長研發是瓶頸;非研發角色感受不到研發技改提效的變化;引入ISV 團隊又擔心質量和安全,培訓周期長“等等,基于此我們探索了一種新的技術體系及交付方案來解決如上問題。 ......

    uj5u.com 2023-04-20 08:20:10 more
  • 【中介者設計模式詳解】C/Java/JS/Go/Python/TS不同語言實作

    * 中介者模式是一種行為型設計模式,它可以用來減少類之間的直接依賴關系,
    * 將物件之間的通信封裝到一個中介者物件中,從而使得各個物件之間的關系更加松散。
    * 在中介者模式中,物件之間不再直接相互互動,而是通過中介者來中轉訊息。 ......

    uj5u.com 2023-04-20 08:19:44 more
  • 露天煤礦現場調研和交流案例分享

    他們集團的資訊化公司及研究院在一個礦區正在做智能礦山的統一平臺的 試點,專案投資大概1億,包括了礦山的各方面的內容,顯示得我們這次交流有點多余。他們2年前開始做智能礦山的規劃,有很多煤礦行業專家的加持,他們的描述是非常完美,但是去年底應該上線的平臺,現在還沒有看到影子。他們確實有很多場景需求,但是被... ......

    uj5u.com 2023-04-20 08:19:07 more
  • 《社區人員管理》實戰案例設計&個人案例分享

    設計是一個讓人夢想成真程序,開始編碼、測驗、除錯之前進行需求分析和架構設計,才能保證關鍵方面都做正確 ......

    uj5u.com 2023-04-20 08:18:57 more
  • 軟體架構生態化-多角色交付的探索實踐

    作為一個技術架構師,不僅僅要緊跟行業技術趨勢,還要結合研發團隊現狀及痛點,探索新的交付方案。在日常中,你是否遇到如下問題 “ 業務需求排期長研發是瓶頸;非研發角色感受不到研發技改提效的變化;引入ISV 團隊又擔心質量和安全,培訓周期長“等等,基于此我們探索了一種新的技術體系及交付方案來解決如上問題。 ......

    uj5u.com 2023-04-20 08:18:49 more
  • 05單件模式

    #經典的單件模式 public class Singleton { private static Singleton uniqueInstance; //一個靜態變數持有Singleton類的唯一實體。 // 其他有用的實體變數寫在這里 //構造器宣告為私有,只有Singleton可以實體化這個類! ......

    uj5u.com 2023-04-19 08:42:51 more
  • 【架構與設計】常見微服務分層架構的區別和落地實踐

    軟體工程的方方面面都遵循一個最基本的道理:沒有銀彈,架構分層模型更是如此,每一種都有各自優缺點,所以請根據不同的業務場景,并遵循簡單、可演進這兩個重要的架構原則選擇合適的架構分層模型即可。 ......

    uj5u.com 2023-04-19 08:42:41 more