主頁 > 資料庫 > Redis--回顧提要

Redis--回顧提要

2022-12-05 11:48:17 資料庫

一、寫在前

知識學了就忘!不用就忘!我太健忘!特此記錄!用于復習打卡!Redis干就完事了!

二、來辣!

  1. Redis做異步佇列:一般list結構做佇列,rpush生產訊息,lpop消費訊息,當lpop沒有訊息的時候,要適當sleep一會兒;如果不sleep,就用blpop,會阻塞;生產一次消費多次,使用pub/sub主題訂閱模式,可以實作1:N的訊息佇列,缺點:消費者下線的時候,訊息會丟,

  2. 延時佇列:使用sortedset,拿時間戳作為score,訊息內容作為key呼叫zadd來生產訊息,消費者用zrangebyscore指令獲取N秒前的資料輪詢處理,

  3. Redis分布式鎖:拿setnx來爭搶鎖,搶到之后再用expire給縮加一個過期時間防止鎖忘記釋放,如果在setnx之后,expire之前行程意外crash或者重要維護了,咋辦:鎖永遠得不到釋放,咋辦:set指令有復雜的引數,可以把setnx和expire合成一條指令執行噠,

  4. memched與redis區別:redis支持string,list,set,zset,hash,HyperLogLog,Geo,Pub/Sub,memcached支持簡單字串;redis更快;redis支持持久化,

  5. redis沒有使用一致性hash,而是引入哈希槽的概念:redis集群有16384個哈希槽,每個key通過CRC16校驗后對16384取模來決定放哪個槽,集群的每一個節點負責一部分hash槽,

  6. redis集群方案什么情況下會導致整個集群不可用:三個節點的集群,在沒有復制模型的情況下,如果B節點掛了,整個集群會因為缺少5501-11000這個范圍的槽而不可用,

  7. 為什么這么快:完全基于記憶體;資料結構簡單,對資料操作簡單;采用單執行緒,避免不必要的背景關系切換和競爭條件,也不存在多行程和多執行緒導致的切換而消耗CPU,不存在加鎖釋放鎖操作,也不會死鎖;使用I/O復用模型,非阻塞IO;自己構建了VM機制,一般的系統呼叫系統函式的話,會浪費一定的時間去移動和請求,

  8. 場景:計數器;快取;session快取;全頁快取(FPC);訊息佇列(發布訂閱);分布式鎖(setnx或RedLock);set交集、并集找共同好友;zset可以實作有序,排行榜等功能,

  9. RDB:默認,將記憶體中的資料以快照方式保存到硬碟,產生dump.rdb檔案,優點:只有一個檔案,方便持久化;容災性好,一個檔案可以保存到安全的磁盤,性能最大化,fork子行程完成寫,主行程繼續處理命令,IO最大化,主行程沒有任何IO,高性能,缺點:安全性低,如果持久化之間掛了,丟一部分資料,

  10. AOF:append-only file,兩種方式同時開啟,恢復資料會先用AOF,優點:資料安全,可以配置appendfsync屬性,有always,每進行一次命令就記錄一次;通過append模式寫檔案,即時中途宕機,可以通過redis-check-aof工具解決一致性問題;rewrite模式,(檔案過大時會對命令進行合并重寫),沒有rewrite之前,可以洗掉某些命令,(比如誤操作的flushall),缺點:檔案大,恢復慢;資料集大的時候,比rdb啟動效率低,

  11. 當做快取時如何擴容:使用一致性哈希實作動態的擴容縮容,

  12. 當做持久化存盤使用,必須使用固定的keys-to-nodes映射關系,節點的數量一旦確定就不能變,

  13. 過期鍵的洗掉策略:1)定時過期:每個設定過期時間的key都要創建一個定時器,到過期時間就會立即清除,立即清除,對記憶體友好,但會占用大量的cpu資源,影響回應時間和吞吐量,2)惰性過期:當訪問的時候,才去判斷是否已過期,過期就清除,可最大化節省cpu資源,對記憶體不友好;但是極端情況下,可能出現大量過期的key未被清理,占用大量記憶體,3)定期過期:折中方案,每隔一定時間,會掃描一定數量的expires字典中一定數量的key,并清除其中過期的,(expires字典會保存所有設定了過期時間的key的過期時間資料,其中,key是指向鍵空間中某個鍵的指標,value是該鍵的毫秒精度的UNIX時間戳表示的過期時間,鍵空間是指redis中存盤的所有鍵,)默認同時使用了惰性過期和定期過期,

  14. expire設定過期時間,persist設定永久有效,

  15. 記憶體淘汰策略:(用于快取的記憶體不足時,怎么處理新寫入且需要額外申請空間的資料),1)noevication,禁止淘汰,寫入會報錯,2)allkeys-lru:全鍵空間內,移除最近最少使用的(常用),3)allkeys-random:隨機移除,4)volatile-lru:設定了過期的鍵空間中,移除最近最少使用的,5)volatile-random:隨機移除,6)volatile-ttl:設定了過期的鍵空間中,優先移除有更早過期時間的key,

  16. 記憶體優化:合理利用集合型別,小的k/v可以以更緊湊的方式存放,盡可能使用散串列(hashes),散串列使用的記憶體小,盡可能將資料抽象到一個散串列,比如用戶,的名稱,密碼等所有資訊存盤到一個散串列,

  17. 事務:事務中的所有命令都會被序列化,就是一次性、順序性、排他性的執行一個佇列中的一系列命令,三個階段:事務開始MULTI-命令入隊-事務執行EXEC,執行程序中,如果服務端收到EXEC、DISCARD、WATCH、MULTI之外的請求,會把請求放入對列中排隊,WATCH命令是一個樂觀鎖,可以為redis事務提供CAS行為,可以監控一個或多個鍵,一旦其中有一個鍵被修改、洗掉,之后的事務不會被執行,監控一直持續到EXEC命令,MULTI用于開啟事務,總是回傳OK,開啟后,可以繼續向服務器發送任意多行命令,不會立即執行,被放佇列,當EXEC被呼叫時才執行,EXEC用于執行事務塊內的命令,回傳所有事務塊中命令的回傳值,按命令執行的先后順序排序,當操作被打斷,回傳空值,DISCARD可以清空事務串列,并放棄執行事務,并且客戶端會從事務狀態中退出,UNWATCH可以取消watch對所有key的監控,

  18. redis的事務總是支持ACID中的一致性和隔離性,其他不支持,當運行在_AOF_持久化模式下,且appendfsyn選項為always時,事務也具有 耐久性,

  19. 單條命令是原子性執行的,基于Lua腳本,可以保證腳本內命令一次性、順序執行完成,但是事務不保證原子性,且沒有回滾,事務的任意命令執行失敗,其余命令也會繼續執行,

三、寫在后

只是簡要知識點概括,看到就能回憶起相關內容為最妙~~直接評論打卡,開整!!!

作者: letscrazy

出處: https://www.cnblogs.com/letscrazy/

關于作者:letscrazy

本文著作權歸作者和博客園共有,歡迎轉載,但未經作者同意必須保留此段宣告,且在文章頁面明顯位置給出, 原文鏈接 如有問題, 可郵件([email protected])咨詢.

轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/539192.html

標籤:NoSQL

上一篇:(譯)MySQL中的直方圖統計資訊

下一篇:1.3 Apache Hadoop的重要組成-hadoop-最全最完整的保姆級的java大資料學習資料

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • GPU虛擬機創建時間深度優化

    **?桔妹導讀:**GPU虛擬機實體創建速度慢是公有云面臨的普遍問題,由于通常情況下創建虛擬機屬于低頻操作而未引起業界的重視,實際生產中還是存在對GPU實體創建時間有苛刻要求的業務場景。本文將介紹滴滴云在解決該問題時的思路、方法、并展示最終的優化成果。 從公有云服務商那里購買過虛擬主機的資深用戶,一 ......

    uj5u.com 2020-09-10 06:09:13 more
  • 可編程網卡芯片在滴滴云網路的應用實踐

    **?桔妹導讀:**隨著云規模不斷擴大以及業務層面對延遲、帶寬的要求越來越高,采用DPDK 加速網路報文處理的方式在橫向縱向擴展都出現了局限性。可編程芯片成為業界熱點。本文主要講述了可編程網卡芯片在滴滴云網路中的應用實踐,遇到的問題、帶來的收益以及開源社區貢獻。 #1. 資料中心面臨的問題 隨著滴滴 ......

    uj5u.com 2020-09-10 06:10:21 more
  • 滴滴資料通道服務演進之路

    **?桔妹導讀:**滴滴資料通道引擎承載著全公司的資料同步,為下游實時和離線場景提供了必不可少的源資料。隨著任務量的不斷增加,資料通道的整體架構也隨之發生改變。本文介紹了滴滴資料通道的發展歷程,遇到的問題以及今后的規劃。 #1. 背景 資料,對于任何一家互聯網公司來說都是非常重要的資產,公司的大資料 ......

    uj5u.com 2020-09-10 06:11:05 more
  • 滴滴AI Labs斬獲國際機器翻譯大賽中譯英方向世界第三

    **桔妹導讀:**深耕人工智能領域,致力于探索AI讓出行更美好的滴滴AI Labs再次斬獲國際大獎,這次獲獎的專案是什么呢?一起來看看詳細報道吧! 近日,由國際計算語言學協會ACL(The Association for Computational Linguistics)舉辦的世界最具影響力的機器 ......

    uj5u.com 2020-09-10 06:11:29 more
  • MPP (Massively Parallel Processing)大規模并行處理

    1、什么是mpp? MPP (Massively Parallel Processing),即大規模并行處理,在資料庫非共享集群中,每個節點都有獨立的磁盤存盤系統和記憶體系統,業務資料根據資料庫模型和應用特點劃分到各個節點上,每臺資料節點通過專用網路或者商業通用網路互相連接,彼此協同計算,作為整體提供 ......

    uj5u.com 2020-09-10 06:11:41 more
  • 滴滴資料倉庫指標體系建設實踐

    **桔妹導讀:**指標體系是什么?如何使用OSM模型和AARRR模型搭建指標體系?如何統一流程、規范化、工具化管理指標體系?本文會對建設的方法論結合滴滴資料指標體系建設實踐進行解答分析。 #1. 什么是指標體系 ##1.1 指標體系定義 指標體系是將零散單點的具有相互聯系的指標,系統化的組織起來,通 ......

    uj5u.com 2020-09-10 06:12:52 more
  • 單表千萬行資料庫 LIKE 搜索優化手記

    我們經常在資料庫中使用 LIKE 運算子來完成對資料的模糊搜索,LIKE 運算子用于在 WHERE 子句中搜索列中的指定模式。 如果需要查找客戶表中所有姓氏是“張”的資料,可以使用下面的 SQL 陳述句: SELECT * FROM Customer WHERE Name LIKE '張%' 如果需要 ......

    uj5u.com 2020-09-10 06:13:25 more
  • 滴滴Ceph分布式存盤系統優化之鎖優化

    **桔妹導讀:**Ceph是國際知名的開源分布式存盤系統,在工業界和學術界都有著重要的影響。Ceph的架構和演算法設計發表在國際系統領域頂級會議OSDI、SOSP、SC等上。Ceph社區得到Red Hat、SUSE、Intel等大公司的大力支持。Ceph是國際云計算領域應用最廣泛的開源分布式存盤系統, ......

    uj5u.com 2020-09-10 06:14:51 more
  • es~通過ElasticsearchTemplate進行聚合~嵌套聚合

    之前寫過《es~通過ElasticsearchTemplate進行聚合操作》的文章,這一次主要寫一個嵌套的聚合,例如先對sex集合,再對desc聚合,最后再對age求和,共三層嵌套。 Aggregations的部分特性類似于SQL語言中的group by,avg,sum等函式,Aggregation ......

    uj5u.com 2020-09-10 06:14:59 more
  • 爬蟲日志監控 -- Elastc Stack(ELK)部署

    傻瓜式部署,只需替換IP與用戶 導讀: 現ELK四大組件分別為:Elasticsearch(核心)、logstash(處理)、filebeat(采集)、kibana(可視化) 下載均在https://www.elastic.co/cn/downloads/下tar包,各組件版本最好一致,配合fdm會 ......

    uj5u.com 2020-09-10 06:15:05 more
最新发布
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取? 快取就是資料交換的緩沖區(稱作Cache),是存盤資料的臨時地方,一般讀寫性能較高。 快取的作用: 降低后端負載 提高讀寫效率,降低回應時間 快取的成本: 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下,當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:33:24 more
  • MySQL中binlog備份腳本分享

    關于MySQL的二進制日志(binlog),我們都知道二進制日志(binlog)非常重要,尤其當你需要point to point災難恢復的時侯,所以我們要對其進行備份。關于二進制日志(binlog)的備份,可以基于flush logs方式先切換binlog,然后拷貝&壓縮到到遠程服務器或本地服務器 ......

    uj5u.com 2023-04-20 08:28:06 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼: 發送驗證碼的介面為:http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式:PO ......

    uj5u.com 2023-04-20 08:27:27 more
  • 快取與資料庫雙寫一致性幾種策略分析

    本文將對幾種快取與資料庫保證資料一致性的使用方式進行分析。為保證高并發性能,以下分析場景不考慮執行的原子性及加鎖等強一致性要求的場景,僅追求最終一致性。 ......

    uj5u.com 2023-04-20 08:26:48 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼,對其進行一對一優化,而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題,盡量不要讓一個事務拖太長的時間 例如檔案上傳時,應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:26:35 more
  • 云時代,MySQL到ClickHouse資料同步產品對比推薦

    ClickHouse 在執行分析查詢時的速度優勢很好的彌補了MySQL的不足,但是對于很多開發者和DBA來說,如何將MySQL穩定、高效、簡單的同步到 ClickHouse 卻很困難。本文對比了 NineData、MaterializeMySQL(ClickHouse自帶)、Bifrost 三款產品... ......

    uj5u.com 2023-04-20 08:26:29 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼,對其進行一對一優化,而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題,盡量不要讓一個事務拖太長的時間 例如檔案上傳時,應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:25:13 more
  • Redis 報”OutOfDirectMemoryError“(堆外記憶體溢位)

    Redis 報錯“OutOfDirectMemoryError(堆外記憶體溢位) ”問題如下: 一、報錯資訊: 使用 Redis 的業務介面 ,產生 OutOfDirectMemoryError(堆外記憶體溢位),如圖: 格式化后的報錯資訊: { "timestamp": "2023-04-17 22: ......

    uj5u.com 2023-04-20 08:24:54 more
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取? 快取就是資料交換的緩沖區(稱作Cache),是存盤資料的臨時地方,一般讀寫性能較高。 快取的作用: 降低后端負載 提高讀寫效率,降低回應時間 快取的成本: 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下,當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:24:03 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼: 發送驗證碼的介面為:http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式:PO ......

    uj5u.com 2023-04-20 08:23:11 more