主頁 > 後端開發 > 談談一致性哈希演算法

談談一致性哈希演算法

2023-06-03 07:44:44 後端開發

一致性哈希演算法是1997年由麻省理工的幾位學者提出的用于解決分布式快取中的熱點問題,大家有沒有發現,我們之前介紹的例如快排之類的演算法是更早的六七十年代,此時分布式還沒有發展起來,
大家往往還在提高單機性能,但是九十年代開始,逐漸需要用分布式集群來解決大型問題,相應的演算法研究也就應運而生,
在說到一致性哈希演算法,我們還是得先從快取的發展談起:
快取,我們一般是用來提速的,當規模或者說資料量小時,我們往往用單機來部署一套快取系統即可,如下圖:

多臺客戶端在查詢資料時,只要根據key進入快取服務器查詢到自己想要的內容即可,
但是隨著業務的發展,單一的快取服務器往往無法支撐住我們的業務需要,比如快取資料太大,多城多活的網路部署等,
我們就需要多臺快取服務器來支撐,如下圖:

客戶端需要查詢快取時,先根據哈希演算法,講key進行計算,得到哈希值,然后通過哈希值對機器數取模(%n)來判定落在哪臺機器上,
這個架構很簡單,也很易實作,我們就不多說了,
但是這里會存在一個快取服務器伸縮的問題:什么意思呢?比如目前是三臺,我們由于業務的需要,需要變為四臺,或者變為兩臺,那么我們需要調整一遍所有資料所處的服務器位置,因為他們存在的位置都有可能改變,

分布式快取本來就是為了解決大資料量問題的,此時重新調整,勢必會極度影響可用性,那么如何解決呢?
來看看一致性哈希演算法的思路:
我們假設存在一個虛擬環,這個環足夠大,上邊存在2^32個節點,三臺器機器呢,我們根據id計算出他們在環中所處的位置,如圖所示:

 

當我們計算資料所處的快取位置,不再是根據n來取模,而是根據2^32來取模,此時會有相當多的資料并沒有落在快取服務器所處的節點上,
那怎么辦呢?我們按照順時針方向計算,將資料落在下一個最*的順時針節點上,
如下圖所示:

這樣當我們新增或者洗掉節點時,只會影響有限的節點上的資料,極大的縮小了受影響的節點和資料,我們只需要重新計算受影響的資料即可,但是這樣還會存在新的問題:
1、快取服務器計算出的位置不均勻,導致覆寫的節點數差異明顯;
2、資料并不均衡:資料經過哈希和取模運算后,可能落在集中的一片區域中,造成對應的快取服務器的資料特別大,
以上問題我們稱之為資料傾斜,資料傾斜的程度明顯后,可能會導致所解決的問題再次出現(前文中的紅字部分),
那如何解決這種問題呢?很簡單,加節點,只要節點足夠多,那么就會越來越趨*于*均,資料傾斜的情況就會越不突出,但是快取服務器是有限的,并不是想加多少都可以的,
那怎么辦呢?

我們可以采用虛擬快取節點的形式解決問題,什么是虛擬快取節點,就是并不實際存在的快取節點,只是一個虛擬的點,
每個真實的快取服務器對應多個虛擬快取節點,兩者是一對多的關系,如下圖所示:

虛擬節點--圖中連接在環上的就是虛擬快取節點,
真實快取節點--Cache
每個Cache對應若干的虛擬節點,當增減Cache時,我們只要調整對應的虛擬節點所對應的資料即可,

 

如果你覺得寫的不錯,歡迎轉載和點贊, 轉載時請保留作者署名jilodream/王若伊_恩賜解脫(博客鏈接:http://www.cnblogs.com/jilodream/

轉載請註明出處,本文鏈接:https://www.uj5u.com/houduan/554123.html

標籤:Java

上一篇:38基于java的在線商城設計與實作

下一篇:返回列表

標籤雲
其他(160206) Python(38196) JavaScript(25473) Java(18178) C(15236) 區塊鏈(8269) C#(7972) AI(7469) 爪哇(7425) MySQL(7223) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5873) 数组(5741) R(5409) Linux(5346) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4581) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2434) ASP.NET(2403) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) .NET技术(1980) 功能(1967) Web開發(1951) HtmlCss(1951) C++(1928) python-3.x(1918) 弹簧靴(1913) xml(1889) PostgreSQL(1879) .NETCore(1863) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • 【C++】Microsoft C++、C 和匯編程式檔案

    ......

    uj5u.com 2020-09-10 00:57:23 more
  • 例外宣告

    相比于斷言適用于排除邏輯上不可能存在的狀態,例外通常是用于邏輯上可能發生的錯誤。 例外宣告 Item 1:當函式不可能拋出例外或不能接受拋出例外時,使用noexcept 理由 如果不打算拋出例外的話,程式就會認為無法處理這種錯誤,并且應當盡早終止,如此可以有效地阻止例外的傳播與擴散。 示例 //不可 ......

    uj5u.com 2020-09-10 00:57:27 more
  • Codeforces 1400E Clear the Multiset(貪心 + 分治)

    鏈接:https://codeforces.com/problemset/problem/1400/E 來源:Codeforces 思路:給你一個陣列,現在你可以進行兩種操作,操作1:將一段沒有 0 的區間進行減一的操作,操作2:將 i 位置上的元素歸零。最終問:將這個陣列的全部元素歸零后操作的最少 ......

    uj5u.com 2020-09-10 00:57:30 more
  • UVA11610 【Reverse Prime】

    本人看到此題沒有翻譯,就附帶了一個自己的翻譯版本 思考 這一題,它的第一個要求是找出所有 $7$ 位反向質數及其質因數的個數。 我們應該需要質數篩篩選1~$10^{7}$的所有數,這里就不慢慢介紹了。但是,重讀題,我們突然發現反向質數都是 $7$ 位,而將它反過來后的數字卻是 $6$ 位數,這就說明 ......

    uj5u.com 2020-09-10 00:57:36 more
  • 統計區間素數數量

    1 #pragma GCC optimize(2) 2 #include <bits/stdc++.h> 3 using namespace std; 4 bool isprime[1000000010]; 5 vector<int> prime; 6 inline int getlist(int ......

    uj5u.com 2020-09-10 00:57:47 more
  • C/C++編程筆記:C++中的 const 變數詳解,教你正確認識const用法

    1、C中的const 1、區域const變數存放在堆疊區中,會分配記憶體(也就是說可以通過地址間接修改變數的值)。測驗代碼如下: 運行結果: 2、全域const變數存放在只讀資料段(不能通過地址修改,會發生寫入錯誤), 默認為外部聯編,可以給其他源檔案使用(需要用extern關鍵字修飾) 運行結果: ......

    uj5u.com 2020-09-10 00:58:04 more
  • 【C++犯錯記錄】VS2019 MFC添加資源不懂如何修改資源宏ID

    1. 首先在資源視圖中,添加資源 2. 點擊新添加的資源,復制自動生成的ID 3. 在解決方案資源管理器中找到Resource.h檔案,編輯,使用整個專案搜索和替換的方式快速替換 宏宣告 4. Ctrl+Shift+F 全域搜索,點擊查找全部,然后逐個替換 5. 為什么使用搜索替換而不使用屬性視窗直 ......

    uj5u.com 2020-09-10 00:59:11 more
  • 【C++犯錯記錄】VS2019 MFC不懂的批量添加資源

    1. 打開資源頭檔案Resource.h,在其中預先定義好宏 ID(不清楚其實ID值應該設定多少,可以先新建一個相同的資源項,再在這個資源的ID值的基礎上遞增即可) 2. 在資源視圖中選中專案資源,按F7編輯資源檔案,按 ID 型別 相對路徑的形式添加 資源。(別忘了先把檔案拷貝到專案中的res檔案 ......

    uj5u.com 2020-09-10 01:00:19 more
  • C/C++編程筆記:關于C++的參考型別,專供新手入門使用

    今天要講的是C++中我最喜歡的一個用法——參考,也叫別名。 參考就是給一個變數名取一個變數名,方便我們間接地使用這個變數。我們可以給一個變數創建N個參考,這N + 1個變數共享了同一塊記憶體區域。(參考型別的變數會占用記憶體空間,占用的記憶體空間的大小和指標型別的大小是相同的。雖然參考是一個物件的別名,但 ......

    uj5u.com 2020-09-10 01:00:22 more
  • 【C/C++編程筆記】從頭開始學習C ++:初學者完整指南

    眾所周知,C ++的學習曲線陡峭,但是花時間學習這種語言將為您的職業帶來奇跡,并使您與其他開發人員區分開。您會更輕松地學習新語言,形成真正的解決問題的技能,并在編程的基礎上打下堅實的基礎。 C ++將幫助您養成良好的編程習慣(即清晰一致的編碼風格,在撰寫代碼時注釋代碼,并限制類內部的可見性),并且由 ......

    uj5u.com 2020-09-10 01:00:41 more
最新发布
  • 談談一致性哈希演算法

    一致性哈希演算法是1997年由麻省理工的幾位學者提出的用于解決分布式快取中的熱點問題。大家有沒有發現,我們之前介紹的例如快排之類的演算法是更早的六七十年代,此時分布式還沒有發展起來,大家往往還在提高單機性能。但是九十年代開始,逐漸需要用分布式集群來解決大型問題,相應的演算法研究也就應運而生。在說到一致性哈 ......

    uj5u.com 2023-06-03 07:44:44 more
  • 38基于java的在線商城設計與實作

    基于java的在線商城設計與實作,在線購物平臺,校園購物商城,商品銷售平臺,基于Java的電商平臺;電商平臺,買家和賣家可以在此平臺上進行銷售和交易,節約了大量的線下時間成本,購物車的功能,校園交易平臺等等; ......

    uj5u.com 2023-06-03 07:44:35 more
  • FastJson轉Java對像欄位不區分大小寫

    昨天遇到引數key大小寫不一致導致校驗簽名失敗的問題,查了很長時間才找到原因。看了一下FastJson原始碼,發現JSON.toObject中轉換成物件的時候會忽略大小寫。 所以,當使用了JSON.toObject將json轉成Java物件后,再用JSON.toObject轉成json,key值就變了 ......

    uj5u.com 2023-06-03 07:44:31 more
  • 簡述泛型的基本使用和作用

    # 前言 在上一篇文章中,給大家講解了泛型的概念、作用、使用場景,以及泛型集合、泛型介面和泛型類的用法,但受限于篇幅,并沒有把泛型的內容講解完畢。所以今天我們會繼續學習泛型方法、泛型擦除,以及通配符等的內容,希望大家繼續做好學習的準備哦。 *** 全文大約【**4600】** 字,不說廢話,只講可以 ......

    uj5u.com 2023-06-03 07:44:27 more
  • 為什么說 Go 語言字串是不可變的?

    **原文鏈接:** [為什么說 Go 語言字串是不可變的?](https://mp.weixin.qq.com/s/AOb6AjKwyTwLeAUou0AU-Q) 最近有讀者留言說,平時在寫代碼的程序中,是會對字串進行修改的,但網上都說 Go 語言字串是不可變的,這是為什么呢? 這個問題本身并 ......

    uj5u.com 2023-06-03 07:38:25 more
  • JVM致命錯誤日志詳解

    [toc] 這篇文章是我之前總結的一篇文章,因為整理博客的原因,原有博客已經注銷,但這篇文章對一些讀者很有用,所以現在新瓶裝舊酒重新整理回來分享給大家。 最近一段時間生產環境頻繁出問題,每次都會生成一個hs_err_pid*.log檔案,因為作業內容的原因,在此之前并沒有了解過相關內容,趁此機會學習 ......

    uj5u.com 2023-06-02 10:10:23 more
  • JVM致命錯誤日志詳解

    [toc] 這篇文章是我之前總結的一篇文章,因為整理博客的原因,原有博客已經注銷,但這篇文章對一些讀者很有用,所以現在新瓶裝舊酒重新整理回來分享給大家。 最近一段時間生產環境頻繁出問題,每次都會生成一個hs_err_pid*.log檔案,因為作業內容的原因,在此之前并沒有了解過相關內容,趁此機會學習 ......

    uj5u.com 2023-06-02 10:06:25 more
  • EasyExcel

    EasyExcel是一個基于Java的、快速、簡潔、解決大檔案記憶體溢位的Excel處理工具。 他能讓你在不用考慮性能、記憶體的等因素的情況下,快速完成Excel的讀、寫等功能。 # 快速入門 匯入依賴 ~~~xml com.alibaba easyexcel 3.1.1 ~~~ # 寫 Excel # ......

    uj5u.com 2023-06-02 08:25:19 more
  • Jackson前后端開發模式必備json利器

    ### 前言 json是我們現代互聯網程式最常用的互動格式,是否你在作業中會遇到前端說欄位不一致需要改的需求,是否遇到過資料庫欄位名與javaBean的規范不同,是否遇到過json與javaBean相互轉換時因為需求寫的土匪代碼,這些都可以用Jackson完成,我們經常和json打交道,而Jacks ......

    uj5u.com 2023-06-02 08:25:14 more
  • Java中的同步和異步

    在Java中,同步(Synchronous)和異步(Asynchronous)是用來描述程式執行模式的概念。 1. 同步:同步指的是按照程式的順序依次執行代碼,每個操作都會等待前一個操作完成后再執行。同步執行的特點是阻塞,即某個操作的完成會導致后續操作的等待。在多執行緒編程中,同步可以通過使用鎖(如` ......

    uj5u.com 2023-06-02 08:25:10 more