主頁 > 資料庫 > Redis五大資料型別詳解

Redis五大資料型別詳解

2020-09-15 04:41:43 資料庫

關于Redis的五大資料型別,它們分別為:String、List、Hash、Set、SortSet,本文將會從它的底層資料結構常用操作命令、一些特點實際應用這幾個方面進行決議,對于資料結構的決議,本文只會從大的方面來決議,不會介紹詳細的代碼實作,

String

1.實作結構

  String是Redis中最常用的一種資料型別,也是Redis中最簡單的一種資料型別,首先,表面上它是字串,但其實他可以靈活的表示字串、整數、浮點數3種值,Redis會自動的識別這3種值,那么,String的底層資料機構又是怎樣的呢?由于Redis是使用c語言實作的,而c語言中沒有String這一資料型別,那么就需要自己實作一個類似于String的結構體,它的名字就叫做SDS(simple dynamic string),下面是它的代碼結構,

1 typedef struct sdshdr {2     // buf中已經占用的字符長度3     unsigned int len;4     // buf中剩余可用的字符長度5     unsigned int free;6     // 資料空間7     char buf[];8 }

如果有了解過Java集合框架類的朋友都知道,這種結構與集合中動態陣列結構類似,那么就會涉及到一系列的擴容判斷和操作,但這些具體的做法在這里不深入講解,不過有一點比較重要的就是String的value值最大可以存放512MB的資料,所以有時候它不僅僅可以存放字符,還可以存放位元組資料,

2.實際應用

  在講實際應用之前,要宣告的是Redis是基于單執行緒IO多路復用的架構實作的NoSql,意味著它的操作都是串行化的,所以在命令操作上不會出現執行緒安全問題,基于這個特性可以有很多應用,

  1. 分布式鎖,利用Redis的串行化特性,可以輕松的實作分布式鎖,其中用到的命令有:setnx key value , expire key time  ,del key ,其中第一個setnx是指在key不存在時能賦值成功,expire 來設定key的存活時間來防止程式例外而沒有及時del到key值的情況,但是程式也有可能在expire沒有執行時就已經掛掉的時候,這是可以來一個增強版set key value  NX EX time,這里的NX就是表示if not exist,而Ex表示時間單位秒,Px代表毫秒,
  2. 分布式session,這里僅僅是利用Redis的資料庫功能,把分布式應用的session抽取到Redis中,普通的get、set,命令即可完成,
  3. 商品秒殺實作,把需要銷售的商品提前放入Redis,通過redis的incrdecr命令安全的增加和減少庫存,
  4. 限時驗證, expire key time ,判斷exists key在短信驗證時,當redis中存在資料則不允許再次請求驗證發送,

 

List

1.實作結構

  首先,List的主要存取操作有lpush、lpop、rpush、rpop,有點像是雙向佇列,List的實作是靈活多樣的,它分別有ziplist(壓縮鏈表)、LinkedList(雙向鏈表)兩種實作方式,

  1.ziplist

  如下圖所示,它是基于連續記憶體實作(類似陣列),當然,它的每一個entry的大小可能不是一致的,這就需要特殊的控制手段去解決,所以才叫壓縮表,那么陣列有的特性它都會有,比如在lpush、lpop的時候就會有資料的搬移,時間復雜度是O(n),所以,一般在資料元素較少時使用ziplist結構實作,

  2.LinkedList

  則與我們日常所學的雙向鏈表相差無異,同樣也保留則頭尾指標、資料長度等資料,這里就不再詳細說明,需要了解的去讀一讀Java的LInkedList原始碼也不錯,

2.實際應用

  1. 訊息佇列,使用lpush,brpop兩個命令可以模擬一個訊息佇列,其中brpop key time為阻塞式彈出,當佇列中為空時會阻塞當前操作,該操作需要添加超時引數,單位為秒,
  2. 有限集合,使用ltrim key start end操作可以獲取一個固定位置的資料,可以快速實作一個有限的集合,

Hash

 1.實作結構

  首先,Hash的特性我們可以想象為Java集合中的HashMap,一個hash中可以有多個field:value(鍵值對),關于hash的實作同樣有兩種情況,一種是基于ZipList,一種是基于HashTable實作,

  1.ZipList

  這里的的ZipList與List當中的ZipList其實是相差無幾的,唯一的特點就是Hash存盤的時候,它的entry數量是成對增加的,同時也是成對存在的,所以它的長度一定是2的整數倍,filed值放在前面,value放在后面的形式存放,當然采用ZipList操作時,它的查找刪改查的時間復雜度就會變為O(n),所以ZipList適合在資料較少的情況下使用,

 2.HashTable

雖然說Hash與Java中的HashMap功能類似,但在HashTable這個結構上還是有一定的不同點的,要想了解HashTable的實作,需要了解三個結構,它們分別是:dictdicthtentry,entry和前面list中提到的類似,下面列出前面兩個結構的定義:

 1 // 哈希表(字典)資料結構,Redis 的所有鍵值對都會存盤在這里,其中包含兩個哈希表, 2 typedef struct dict { 3     // 哈希表的型別,包括哈希函式,比較函式,鍵值的記憶體釋放函式 4     dictType *type; 5     // 存盤一些額外的資料 6     void *privdata; 7     // 兩個哈希表 8     dictht ht[2]; 9     // 哈希表重置下標,指定的是哈希陣列的陣列下標10     int rehashidx; /* rehashing not in progress if rehashidx == -1 */11     // 系結到哈希表的迭代器個數12     int iterators; /* number of iterators currently running */13 } dict;14 15 typedef struct dictht { 16     //槽位陣列17     dictEntry **table; 18     //槽位陣列長度19     unsigned long size; 20     //用于計算索引的掩碼,可以理解為hash函式 21     unsigned long sizemask;22     //真正存盤的鍵值對數量23     unsigned long used; 24 } dictht;

關系可以總結為下面這幅圖:

 

2.實際應用

  1. 存放物件Object,你可能會發現,從宏觀上來說,這種一個key , field1 : value1 ,field2 : value2 一個鍵值對應多個欄位field的格式非常適合用于描寫一個物件,所以,hash一般會用于描述一個物件,但其實我們在實際中也有可能會用一個Json格式的字串來描述一個物件,那么這兩種方法都可行的情況下,會有什么優缺點呢?利用hash描述一個物件:可以做到序列化開銷小,可以單獨修改某一個欄位而不用讀出全部資料,但是使用比較復雜,而使用json描述物件,使用簡單但需要耗費額外的序列化開銷,需要使用什么形式,具體情況需要具體分析,
  2. 結合Json描述物件的集合,例如,在商城應用中,可以利用Hash的key來描述一個用戶的id,而field用于描述用戶的購物車串列中的一個物品的詳細資訊,

 

Set

Set是一個不允許重復的,無順序的資料集合,值得注意的是,這里說的無順序其實還是有一點歧義的,那么到底是怎么回事呢?接下來的博文就會有提到這個差異,

1.實作結構

  1.IntSet,

  這里的IntSet是一種在滿足特定情況下所使用的資料結構,這種情況就是當全部value都為整型時,redis會使用IntSet這種結構,在這個情況下它是有序的,這是為什么呢?先從結構開始說起,為了平衡空間的性能的消耗,Redis在資料都為整型的時候使用了一種基于動態陣列的結構體,同時在存放元素時保正元素的大小順序,這樣就可以使用二分查找以時間復雜度O(logn)來完成增刪改查的操作,這樣就節省了很多空間,至于增和刪操作,同樣會涉及到陣列的資料搬移操作,下面為它的結構體代碼:

1 typedef struct intset {2     // 編碼方式3   uint32_t enconding;4   // 集合包含的元素數量5   uint32_t length;6   // 保存元素的陣列    7   int8_t contents[];8 } intset;

 

  2.HashTable

  當存在非整型資料的時候,Redis會自動把IntSet轉換為HashTable的結構存放資料,但HashTable不能轉換為IntSet,這里的HashTable與上面Hash結構提到的HashTable沒有太大的差別,唯一的差別就在于Set存放在HashTable中只有Key值,沒有value值,所以在HashTable的Entry中,Enrty的value永遠為null,

2.實際應用

  1.  記錄唯一的事物,如ip值,身份證等,
  2. 隨機用戶抽獎,通過srandmember key 隨機回傳一個set中的資料,
  3. 用戶標簽,當用戶在使用某個產品的時候,后臺可能會記錄該用戶對某個東西的喜好,從而在該標簽中記錄該用戶,同時,可以利用sinter key1 key2、sunion、sdiff回傳標簽中的交集、并集、差集,這樣就可以輕松得出用戶的共同喜好、所有喜好、非共同喜好等資料,

 SortSet

SortSet是一個實作了資料有序且唯一的鍵值對集合,其中,Entry的鍵為string型別,值為整型或浮點型,表示權值score,其中SortSet的順序就是通過Score的值來確定的,

1.實作結構

SortSet的實作結構同樣有兩種,一種是ZipList結構實作,適用于較少資料的情況,另一種是SkipList+HashTable的形式,使用與資料較多的情況,其中SkipList是在保證有序的情況下優化范圍查找的時間復雜度,而HashTable則是優化增刪改查的時間復雜度,

  1.ZipList

 SortSet的ZipList和Hash中的資料結構類似,同樣也是存放鍵值對,但是它維護了基于Score的有序性(默認從小到大),這里就不再贅述,

  2.SkipList+HashTable

  首先來說明主要的SkipList(跳表),跳表是一種基于有序鏈表,通過建立多層索引,以空間換時間的方式實作平均查找效率為O(logn)復雜度的一種資料結構,下面給出一個跳表的基本形式圖:

 可以看到在根據資料的權值Score進行查找的時候,從最頂層的索引開始查找,當找到資料在某個范圍后,在往下一層的索引查找,然后就這樣一路縮小查找的范圍,看上去是不是有點像二分查找?至于跳表的具體介紹和實作,可以參考這篇文章:為什么Redis要用跳表實作有序集合?

上面可以看到,基于跳表的實作的有序集合可以完成增刪改查實作O(logn)的時間復雜度,那么有沒有更加快的方式來實作O(1)的時間復雜度呢?通常說起O(1)的時間復雜度都會想起HashTable這個資料結構,Redis就利用HashTable+SkipList的組合資料結構,HashTable來實作增刪改查的時間復雜度為O(1)的同時SkipList保證資料的有序性,可以方便的獲取一個范圍的資料,

至于HashTable的實作與前面談到的一致,下面用一張圖來說明兩個資料結構結合是什么樣子的,

 

 上圖中,每一個節點可以看成一個跳表的節點同時也是HashTable中的一個節點

  1. 在看跳表的時候,我們需要忽略hnext指標,每個節點通過雙向鏈表來保證有序性,
  2. 在看HashTable的時候,可以忽略prev指標和next指標,看上去就是一個用拉鏈法解決沖突的HashTable,而hnext就是指向下一節點的指標,

這樣,當我們需要增刪改查的時候,利用HashTable的特性實作時間復雜度為1的操作,當我們需要基于權值Score進行范圍查找的時候可以通過SkipList進行時間復雜度為O(logn)的查找,

2.實際應用

  1. 排行榜,使用zrange key start end,根據熱度、積分、評論等可以衡量的權值Score進行排行,其中score排序為從小到大,用ZREVRANGE實作從大到小排序,
  2. 獲取某個權值范圍的用戶,例如在應用中獲取積分為80到100的用戶,可以使用ZRANGEBYSCORE key 80 100 WITHSCORES來輸出score在80到100間的用戶,

總結

太多東西記不住?來張思維導圖幫你記憶一下,

 

 

 

轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/42305.html

標籤:NoSQL

上一篇:MYSQL資料庫優化(一)

下一篇:Redis自動化安裝以及集群實作

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • GPU虛擬機創建時間深度優化

    **?桔妹導讀:**GPU虛擬機實體創建速度慢是公有云面臨的普遍問題,由于通常情況下創建虛擬機屬于低頻操作而未引起業界的重視,實際生產中還是存在對GPU實體創建時間有苛刻要求的業務場景。本文將介紹滴滴云在解決該問題時的思路、方法、并展示最終的優化成果。 從公有云服務商那里購買過虛擬主機的資深用戶,一 ......

    uj5u.com 2020-09-10 06:09:13 more
  • 可編程網卡芯片在滴滴云網路的應用實踐

    **?桔妹導讀:**隨著云規模不斷擴大以及業務層面對延遲、帶寬的要求越來越高,采用DPDK 加速網路報文處理的方式在橫向縱向擴展都出現了局限性。可編程芯片成為業界熱點。本文主要講述了可編程網卡芯片在滴滴云網路中的應用實踐,遇到的問題、帶來的收益以及開源社區貢獻。 #1. 資料中心面臨的問題 隨著滴滴 ......

    uj5u.com 2020-09-10 06:10:21 more
  • 滴滴資料通道服務演進之路

    **?桔妹導讀:**滴滴資料通道引擎承載著全公司的資料同步,為下游實時和離線場景提供了必不可少的源資料。隨著任務量的不斷增加,資料通道的整體架構也隨之發生改變。本文介紹了滴滴資料通道的發展歷程,遇到的問題以及今后的規劃。 #1. 背景 資料,對于任何一家互聯網公司來說都是非常重要的資產,公司的大資料 ......

    uj5u.com 2020-09-10 06:11:05 more
  • 滴滴AI Labs斬獲國際機器翻譯大賽中譯英方向世界第三

    **桔妹導讀:**深耕人工智能領域,致力于探索AI讓出行更美好的滴滴AI Labs再次斬獲國際大獎,這次獲獎的專案是什么呢?一起來看看詳細報道吧! 近日,由國際計算語言學協會ACL(The Association for Computational Linguistics)舉辦的世界最具影響力的機器 ......

    uj5u.com 2020-09-10 06:11:29 more
  • MPP (Massively Parallel Processing)大規模并行處理

    1、什么是mpp? MPP (Massively Parallel Processing),即大規模并行處理,在資料庫非共享集群中,每個節點都有獨立的磁盤存盤系統和記憶體系統,業務資料根據資料庫模型和應用特點劃分到各個節點上,每臺資料節點通過專用網路或者商業通用網路互相連接,彼此協同計算,作為整體提供 ......

    uj5u.com 2020-09-10 06:11:41 more
  • 滴滴資料倉庫指標體系建設實踐

    **桔妹導讀:**指標體系是什么?如何使用OSM模型和AARRR模型搭建指標體系?如何統一流程、規范化、工具化管理指標體系?本文會對建設的方法論結合滴滴資料指標體系建設實踐進行解答分析。 #1. 什么是指標體系 ##1.1 指標體系定義 指標體系是將零散單點的具有相互聯系的指標,系統化的組織起來,通 ......

    uj5u.com 2020-09-10 06:12:52 more
  • 單表千萬行資料庫 LIKE 搜索優化手記

    我們經常在資料庫中使用 LIKE 運算子來完成對資料的模糊搜索,LIKE 運算子用于在 WHERE 子句中搜索列中的指定模式。 如果需要查找客戶表中所有姓氏是“張”的資料,可以使用下面的 SQL 陳述句: SELECT * FROM Customer WHERE Name LIKE '張%' 如果需要 ......

    uj5u.com 2020-09-10 06:13:25 more
  • 滴滴Ceph分布式存盤系統優化之鎖優化

    **桔妹導讀:**Ceph是國際知名的開源分布式存盤系統,在工業界和學術界都有著重要的影響。Ceph的架構和演算法設計發表在國際系統領域頂級會議OSDI、SOSP、SC等上。Ceph社區得到Red Hat、SUSE、Intel等大公司的大力支持。Ceph是國際云計算領域應用最廣泛的開源分布式存盤系統, ......

    uj5u.com 2020-09-10 06:14:51 more
  • es~通過ElasticsearchTemplate進行聚合~嵌套聚合

    之前寫過《es~通過ElasticsearchTemplate進行聚合操作》的文章,這一次主要寫一個嵌套的聚合,例如先對sex集合,再對desc聚合,最后再對age求和,共三層嵌套。 Aggregations的部分特性類似于SQL語言中的group by,avg,sum等函式,Aggregation ......

    uj5u.com 2020-09-10 06:14:59 more
  • 爬蟲日志監控 -- Elastc Stack(ELK)部署

    傻瓜式部署,只需替換IP與用戶 導讀: 現ELK四大組件分別為:Elasticsearch(核心)、logstash(處理)、filebeat(采集)、kibana(可視化) 下載均在https://www.elastic.co/cn/downloads/下tar包,各組件版本最好一致,配合fdm會 ......

    uj5u.com 2020-09-10 06:15:05 more
最新发布
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取? 快取就是資料交換的緩沖區(稱作Cache),是存盤資料的臨時地方,一般讀寫性能較高。 快取的作用: 降低后端負載 提高讀寫效率,降低回應時間 快取的成本: 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下,當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:33:24 more
  • MySQL中binlog備份腳本分享

    關于MySQL的二進制日志(binlog),我們都知道二進制日志(binlog)非常重要,尤其當你需要point to point災難恢復的時侯,所以我們要對其進行備份。關于二進制日志(binlog)的備份,可以基于flush logs方式先切換binlog,然后拷貝&壓縮到到遠程服務器或本地服務器 ......

    uj5u.com 2023-04-20 08:28:06 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼: 發送驗證碼的介面為:http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式:PO ......

    uj5u.com 2023-04-20 08:27:27 more
  • 快取與資料庫雙寫一致性幾種策略分析

    本文將對幾種快取與資料庫保證資料一致性的使用方式進行分析。為保證高并發性能,以下分析場景不考慮執行的原子性及加鎖等強一致性要求的場景,僅追求最終一致性。 ......

    uj5u.com 2023-04-20 08:26:48 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼,對其進行一對一優化,而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題,盡量不要讓一個事務拖太長的時間 例如檔案上傳時,應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:26:35 more
  • 云時代,MySQL到ClickHouse資料同步產品對比推薦

    ClickHouse 在執行分析查詢時的速度優勢很好的彌補了MySQL的不足,但是對于很多開發者和DBA來說,如何將MySQL穩定、高效、簡單的同步到 ClickHouse 卻很困難。本文對比了 NineData、MaterializeMySQL(ClickHouse自帶)、Bifrost 三款產品... ......

    uj5u.com 2023-04-20 08:26:29 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼,對其進行一對一優化,而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題,盡量不要讓一個事務拖太長的時間 例如檔案上傳時,應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:25:13 more
  • Redis 報”OutOfDirectMemoryError“(堆外記憶體溢位)

    Redis 報錯“OutOfDirectMemoryError(堆外記憶體溢位) ”問題如下: 一、報錯資訊: 使用 Redis 的業務介面 ,產生 OutOfDirectMemoryError(堆外記憶體溢位),如圖: 格式化后的報錯資訊: { "timestamp": "2023-04-17 22: ......

    uj5u.com 2023-04-20 08:24:54 more
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取? 快取就是資料交換的緩沖區(稱作Cache),是存盤資料的臨時地方,一般讀寫性能較高。 快取的作用: 降低后端負載 提高讀寫效率,降低回應時間 快取的成本: 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下,當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:24:03 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼: 發送驗證碼的介面為:http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式:PO ......

    uj5u.com 2023-04-20 08:23:11 more