主頁 > 資料庫 > Redis - 物件結構

Redis - 物件結構

2023-03-27 13:42:44 資料庫

簡介

Redis 使用物件存盤資料庫中的鍵和值,每當在 Redis 中創建一個新的鍵值對時,都會創建兩個物件:一個是鍵物件,另一個是值物件,

Redis 物件結構

其中,Redis 的每種物件都由物件結構和對應編碼的資料結構組合而成,而每種物件型別對應若干編碼方式,不同編碼方式對應的底層資料結構也會有所不同,

資料庫結構

Redis 服務器的資料庫都保存在 redisServerdb 陣列中,陣列中的每個項都是 redisDb 結構,每個 redisDb 結構代表一個資料庫,

下面是部分 redisServer 結構:

struct redisServer {
    redisDb *db;    // 保存資料庫的陣列
    int dbnum;      // 服務器的資料庫數量
    // ...
};

其中,初始化服務器時,會根據 dbnum 的值決定創建多少個資料庫,默認情況下,dbnum 的值是 16,

切換資料庫

默認情況下,Redis 客戶端的目標資料庫是 0 號資料庫,但是客戶端可以使用 SELECT 命令切換目標資料庫,

需要注意的是,Redis 現在沒有向客戶端回傳目標資料庫的命令,對資料庫進行誤操作極易出現不符合預期的情況,尤其是像 FLUSHDB 這樣的命令,

比較好的做法是盡量少地在代碼中切換資料庫,即使是在命令列操作,也盡量顯式地切換到指定的資料庫,然后再執行命令,

資料庫鍵空間

每一個資料庫中都存盤了一個字典,這個字典存盤了資料庫中的所有鍵值對,這個字典又被稱為鍵空間,

所有對資料庫中鍵值對的增刪查改操作,實際上都是在操作鍵空間字典,

只是,由于資料庫可以存盤多種不同的資料結構型別,這些增刪查改操作,都會使用對應資料結構提供的函式執行,

讀寫鍵空間的維護操作

當使用 Redis 命令對鍵空間字典進行讀寫操作時,服務器不僅會執行這些讀寫操作,還會做一些維護性的操作,提高 Redis 的可用性,其中包括:

  • 讀取一個鍵時,服務器會根據鍵是否存在來更新鍵空間命中次數和不命中次數
  • 讀取到一個鍵之后,服務器會更新這個鍵的 lru 屬性
  • 如果服務器讀取到鍵之后,發現這個鍵已經過期,會先洗掉這個鍵,再執行后續的操作
  • 如果有客戶端使用 WATCH 命令監視這個鍵,服務器修改這個鍵之后,會將這個鍵標記為 dirty 狀態
  • 服務器每次修改一個鍵之后,都會對臟計數器的值增 1,這個計數器會觸發服務器的持久化或復制操作
  • 如果服務器開啟了通知功能,那么對這個鍵做修改操作之后,服務器將按配置發送對應的資料庫通知

型別與編碼

Redis 中的每個物件都是由一個 redisObject 結構表示,其結構如下:

typedef struct redisObject {
    unsigned type:4;        // 型別
    unsigned encoding:4;    // 編碼
    unsigned lru:LRU_BITS;  // 記錄最后訪問的時間
    int refcount;           // 參考計數
    void *ptr;              // 指向底層實作資料結構的指標
} robj;

其中 typeencodingptr 是最重要的三個屬性,

資料型別

物件的 type 屬性記錄了資料結構的型別,它總是以下列舉值之一:

  • REDIS_STRING
  • REDIS_LIST
  • REDIS_HASH
  • REDIS_SET
  • REDIS_ZSET

物件編碼

物件的 encoding 屬性記錄了 ptr 指標指向物件的編碼方式,它總是以下列舉值之一:

  • OBJ_ENCODING_RAW
  • OBJ_ENCODING_INT
  • OBJ_ENCODING_HT
  • OBJ_ENCODING_ZIPMAP
  • OBJ_ENCODING_LINKEDLIST
  • OBJ_ENCODING_ZIPLIST
  • OBJ_ENCODING_INTSET
  • OBJ_ENCODING_SKIPLIST
  • OBJ_ENCODING_EMBSTR
  • OBJ_ENCODING_QUICKLIST
  • OBJ_ENCODING_STREAM

通過使用 encoding 屬性設定物件的編碼方式,而不是使用固定編碼,這樣極大地提高了 Redis 的靈活性和效率,也方便 Redis 針對不同的場景選擇不同的編碼,針對性地做優化,

物件指標

物件的 ptr 屬性是一個指標,指向實際保存值的資料結構,

空轉時間

物件的 lru 屬性記錄了物件最后一次被命令程式訪問的時間,空轉時間指的是當前時間減去 lru 屬性得到的時長,即未被訪問的時長,

鍵的空轉時間在記憶體回收演算法是 volatile-lruallkeys-lru 時使用到,當服務器占用的記憶體超過了 maxmemory 之后,空轉時長較高的那部分鍵會優先被服務器釋放,從而回收記憶體,

命令執行流程

Redis 中用于操作鍵的命令分為兩類:任何型別的鍵都可以執行的命令、針對特定型別的鍵可執行的命令,例如 DELEXPIRE 等命令屬于前者,SETHSET 等命令屬于后者,

針對特定型別的鍵的執行命令,執行前需要檢查鍵的型別,確定當前鍵是否可執行當前命令,

在 Redis 中,一個資料型別有可能對應多個編碼方式,在檢查完鍵的型別之后,還需要根據資料型別的不同編碼進行多型處理,

因此,當處理一個特定型別命令的時候,執行的步驟如下:

  • 根據給定的 key 名稱,在資料庫字典中查找相對應的 Redis 物件,如果沒有找到,回傳 NULL
  • 檢查 Redis 物件中的 type 屬性和執行命令所需的型別是否相符,如果不相符,回傳型別錯誤
  • 根據 Redis 物件中的 encoding 屬性選擇合適的操作函式來處理底層資料結構
  • 將操作函式的回傳值作為命令請求的回應回傳給客戶端

物件共享

目前,為了解決重復分配的麻煩,Redis 會在初始化服務器時創建一萬個字串物件,這些物件包含了從 0 到 9999 的所有整數值,當服務器需要用到值為 0 到 9999 的字串物件時,服務器就會使用這些共享物件,而不是創建新的物件,

盡管共享更復雜的物件可以節約更多的記憶體,但受到 CPU 時間的限制,Redis 只對包含整數值的字串物件進行共享,

需要注意的是,共享物件只能被字典和雙向鏈表這類能帶有指標的資料結構使用,

記憶體回收

因為 C 語言并不具備自動記憶體回收功能,所以 Redis 在自己的物件系統中構建了一個參考計數技術實作記憶體回識訓制,通過這個記憶體回識訓制,Redis 可以通過物件的參考計數資訊,在適當的時候自動釋放物件并進行記憶體回收,

物件的參考計數資訊通過 refcount 屬性記錄,其使用如下:

  • 當創建新物件時,參考計數的值會初始化為 1
  • 當這個物件被共享時,參考計數的值會自增
  • 當使用完一個物件后,或者消除對這個物件的參考之后,參考計數的值會自減
  • 當物件的參考計數值變為 0 時,物件所占用的記憶體會被釋放

首發于「程式員翔仔」,點擊查看更多,

轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/548291.html

標籤:NoSQL

上一篇:Mysql資料庫詳細筆記(跟隨b站韓順平教程)

下一篇:【解答】如何保障ETL程序的資料正確性。這個程序會產生哪些問題?

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • GPU虛擬機創建時間深度優化

    **?桔妹導讀:**GPU虛擬機實體創建速度慢是公有云面臨的普遍問題,由于通常情況下創建虛擬機屬于低頻操作而未引起業界的重視,實際生產中還是存在對GPU實體創建時間有苛刻要求的業務場景。本文將介紹滴滴云在解決該問題時的思路、方法、并展示最終的優化成果。 從公有云服務商那里購買過虛擬主機的資深用戶,一 ......

    uj5u.com 2020-09-10 06:09:13 more
  • 可編程網卡芯片在滴滴云網路的應用實踐

    **?桔妹導讀:**隨著云規模不斷擴大以及業務層面對延遲、帶寬的要求越來越高,采用DPDK 加速網路報文處理的方式在橫向縱向擴展都出現了局限性。可編程芯片成為業界熱點。本文主要講述了可編程網卡芯片在滴滴云網路中的應用實踐,遇到的問題、帶來的收益以及開源社區貢獻。 #1. 資料中心面臨的問題 隨著滴滴 ......

    uj5u.com 2020-09-10 06:10:21 more
  • 滴滴資料通道服務演進之路

    **?桔妹導讀:**滴滴資料通道引擎承載著全公司的資料同步,為下游實時和離線場景提供了必不可少的源資料。隨著任務量的不斷增加,資料通道的整體架構也隨之發生改變。本文介紹了滴滴資料通道的發展歷程,遇到的問題以及今后的規劃。 #1. 背景 資料,對于任何一家互聯網公司來說都是非常重要的資產,公司的大資料 ......

    uj5u.com 2020-09-10 06:11:05 more
  • 滴滴AI Labs斬獲國際機器翻譯大賽中譯英方向世界第三

    **桔妹導讀:**深耕人工智能領域,致力于探索AI讓出行更美好的滴滴AI Labs再次斬獲國際大獎,這次獲獎的專案是什么呢?一起來看看詳細報道吧! 近日,由國際計算語言學協會ACL(The Association for Computational Linguistics)舉辦的世界最具影響力的機器 ......

    uj5u.com 2020-09-10 06:11:29 more
  • MPP (Massively Parallel Processing)大規模并行處理

    1、什么是mpp? MPP (Massively Parallel Processing),即大規模并行處理,在資料庫非共享集群中,每個節點都有獨立的磁盤存盤系統和記憶體系統,業務資料根據資料庫模型和應用特點劃分到各個節點上,每臺資料節點通過專用網路或者商業通用網路互相連接,彼此協同計算,作為整體提供 ......

    uj5u.com 2020-09-10 06:11:41 more
  • 滴滴資料倉庫指標體系建設實踐

    **桔妹導讀:**指標體系是什么?如何使用OSM模型和AARRR模型搭建指標體系?如何統一流程、規范化、工具化管理指標體系?本文會對建設的方法論結合滴滴資料指標體系建設實踐進行解答分析。 #1. 什么是指標體系 ##1.1 指標體系定義 指標體系是將零散單點的具有相互聯系的指標,系統化的組織起來,通 ......

    uj5u.com 2020-09-10 06:12:52 more
  • 單表千萬行資料庫 LIKE 搜索優化手記

    我們經常在資料庫中使用 LIKE 運算子來完成對資料的模糊搜索,LIKE 運算子用于在 WHERE 子句中搜索列中的指定模式。 如果需要查找客戶表中所有姓氏是“張”的資料,可以使用下面的 SQL 陳述句: SELECT * FROM Customer WHERE Name LIKE '張%' 如果需要 ......

    uj5u.com 2020-09-10 06:13:25 more
  • 滴滴Ceph分布式存盤系統優化之鎖優化

    **桔妹導讀:**Ceph是國際知名的開源分布式存盤系統,在工業界和學術界都有著重要的影響。Ceph的架構和演算法設計發表在國際系統領域頂級會議OSDI、SOSP、SC等上。Ceph社區得到Red Hat、SUSE、Intel等大公司的大力支持。Ceph是國際云計算領域應用最廣泛的開源分布式存盤系統, ......

    uj5u.com 2020-09-10 06:14:51 more
  • es~通過ElasticsearchTemplate進行聚合~嵌套聚合

    之前寫過《es~通過ElasticsearchTemplate進行聚合操作》的文章,這一次主要寫一個嵌套的聚合,例如先對sex集合,再對desc聚合,最后再對age求和,共三層嵌套。 Aggregations的部分特性類似于SQL語言中的group by,avg,sum等函式,Aggregation ......

    uj5u.com 2020-09-10 06:14:59 more
  • 爬蟲日志監控 -- Elastc Stack(ELK)部署

    傻瓜式部署,只需替換IP與用戶 導讀: 現ELK四大組件分別為:Elasticsearch(核心)、logstash(處理)、filebeat(采集)、kibana(可視化) 下載均在https://www.elastic.co/cn/downloads/下tar包,各組件版本最好一致,配合fdm會 ......

    uj5u.com 2020-09-10 06:15:05 more
最新发布
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取? 快取就是資料交換的緩沖區(稱作Cache),是存盤資料的臨時地方,一般讀寫性能較高。 快取的作用: 降低后端負載 提高讀寫效率,降低回應時間 快取的成本: 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下,當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:33:24 more
  • MySQL中binlog備份腳本分享

    關于MySQL的二進制日志(binlog),我們都知道二進制日志(binlog)非常重要,尤其當你需要point to point災難恢復的時侯,所以我們要對其進行備份。關于二進制日志(binlog)的備份,可以基于flush logs方式先切換binlog,然后拷貝&壓縮到到遠程服務器或本地服務器 ......

    uj5u.com 2023-04-20 08:28:06 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼: 發送驗證碼的介面為:http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式:PO ......

    uj5u.com 2023-04-20 08:27:27 more
  • 快取與資料庫雙寫一致性幾種策略分析

    本文將對幾種快取與資料庫保證資料一致性的使用方式進行分析。為保證高并發性能,以下分析場景不考慮執行的原子性及加鎖等強一致性要求的場景,僅追求最終一致性。 ......

    uj5u.com 2023-04-20 08:26:48 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼,對其進行一對一優化,而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題,盡量不要讓一個事務拖太長的時間 例如檔案上傳時,應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:26:35 more
  • 云時代,MySQL到ClickHouse資料同步產品對比推薦

    ClickHouse 在執行分析查詢時的速度優勢很好的彌補了MySQL的不足,但是對于很多開發者和DBA來說,如何將MySQL穩定、高效、簡單的同步到 ClickHouse 卻很困難。本文對比了 NineData、MaterializeMySQL(ClickHouse自帶)、Bifrost 三款產品... ......

    uj5u.com 2023-04-20 08:26:29 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼,對其進行一對一優化,而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題,盡量不要讓一個事務拖太長的時間 例如檔案上傳時,應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:25:13 more
  • Redis 報”OutOfDirectMemoryError“(堆外記憶體溢位)

    Redis 報錯“OutOfDirectMemoryError(堆外記憶體溢位) ”問題如下: 一、報錯資訊: 使用 Redis 的業務介面 ,產生 OutOfDirectMemoryError(堆外記憶體溢位),如圖: 格式化后的報錯資訊: { "timestamp": "2023-04-17 22: ......

    uj5u.com 2023-04-20 08:24:54 more
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取? 快取就是資料交換的緩沖區(稱作Cache),是存盤資料的臨時地方,一般讀寫性能較高。 快取的作用: 降低后端負載 提高讀寫效率,降低回應時間 快取的成本: 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下,當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:24:03 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼: 發送驗證碼的介面為:http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式:PO ......

    uj5u.com 2023-04-20 08:23:11 more