1.什么是redis?
Redis 是一個基于記憶體的高性能key-value資料庫,
2.Redis的特點
Redis本質上是一個Key-Value型別的記憶體資料庫,很像memcached,整個資料庫統統加載在記憶體當中進行操作,定期通過異步操作把資料庫資料flush到硬碟上進行保存,
因為是純記憶體操作,Redis的性能非常出色,每秒可以處理超過 10萬次讀寫操作,是已知性能最快的Key-Value DB,
Redis的出色之處不僅僅是性能,Redis最大的魅力是支持保存多種資料結構,此外單個value的最大限制是1GB,不像 memcached只能保存1MB的資料,
因此Redis可以用來實作很多有用的功能,比方說用他的List來做FIFO雙向鏈表,實作一個輕量級的高性 能訊息佇列服務,用他的Set可以做高性能的tag系統等等,
另外Redis也可以對存入的Key-Value設定expire時間,因此也可以被當作一 個功能加強版的memcached來用,
Redis的主要缺點是資料庫容量受到物理記憶體的限制,不能用作海量資料的高性能讀寫,因此Redis適合的場景主要局限在較小資料量的高性能操作和運算上,
3.使用redis有哪些好處?
-
速度快:因為資料存在記憶體中,類似于HashMap,HashMap的優勢就是查找和操作的時間復雜度都是O(1)
-
支持豐富資料型別:支持string,list,set,sorted set,hash
-
支持事務:操作都是原子性,所謂的原子性就是對資料的更改要么全部執行,要么全部不執行
-
豐富的特性:可用于快取,訊息,按key設定過期時間,過期后將會自動洗掉
4.redis相比memcached有哪些優勢?
-
memcached所有的值均是簡單的字串,redis作為其替代者,支持更為豐富的資料型別
-
redis的速度比memcached快很多
-
redis可以持久化其資料
5.Memcache與Redis的區別都有哪些?
-
存盤方式:Memecache把資料全部存在記憶體之中,斷電后會掛掉,資料不能超過記憶體大小,Redis有部份存在硬碟上,這樣能保證資料的持久性,
-
資料支持型別:Memcache對資料型別支持相對簡單,Redis有復雜的資料型別,
-
使用底層模型不同:它們之間底層實作方式 以及與客戶端之間通信的應用協議不一樣,Redis直接自己構建了VM 機制 ,因為一般的系統呼叫系統函式的話,會浪費一定的時間去移動和請求,
6.redis常見性能問題和解決方案:
1).Master寫記憶體快照,save命令調度rdbSave函式,會阻塞主執行緒的作業,當快照比較大時對性能影響是非常大的,會間斷性暫停服務,所以Master最好不要寫記憶體快照,
2).Master AOF持久化,如果不重寫AOF檔案,這個持久化方式對性能的影響是最小的,但是AOF檔案會不斷增大,AOF檔案過大會影響Master重啟的恢復速度,
Master最好不要做任何持久化作業,包括記憶體快照和AOF日志檔案,特別是不要啟用記憶體快照做持久化,如果資料比較關鍵,某個Slave開啟AOF備份資料,策略為每秒同步一次,
3).Master呼叫BGREWRITEAOF重寫AOF檔案,AOF在重寫的時候會占大量的CPU和記憶體資源,導致服務load過高,出現短暫服務暫停現象,
4).Redis主從復制的性能問題,為了主從復制的速度和連接的穩定性,Slave和Master最好在同一個局域網內
7.mySQL里有2000w資料,redis中只存20w的資料,如何保證redis中的資料都是熱點資料
相關知識:redis 記憶體資料集大小上升到一定大小的時候,就會施行資料淘汰策略(回收策略),redis 提供 6種資料淘汰策略:
-
volatile-lru:從已設定過期時間的資料集(server.db[i].expires)中挑選最近最少使用的資料淘汰
-
volatile-ttl:從已設定過期時間的資料集(server.db[i].expires)中挑選將要過期的資料淘汰
-
volatile-random:從已設定過期時間的資料集(server.db[i].expires)中任意選擇資料淘汰
-
allkeys-lru:從資料集(server.db[i].dict)中挑選最近最少使用的資料淘汰
-
allkeys-random:從資料集(server.db[i].dict)中任意選擇資料淘汰
-
no-enviction(驅逐):禁止驅逐資料
8.請用Redis和任意語言實作一段惡意登錄保護的代碼,限制1小時內每用戶Id最多只能登錄5次,
具體登錄函式或功能用空函式即可,不用詳細寫出,
用串列實作:串列中每個元素代表登陸時間,只要最后的第5次登陸時間和現在時間差不超過1小時就禁止登陸,用Python寫的代碼如下:
#!/usr/bin/env python3
import redis
import sys
import time
r = redis.StrictRedis(host=’127.0.0.1′, port=6379, db=0)
try:
id = sys.argv[1]
except:
print(‘input argument error’)
sys.exit(0)
if r.llen(id) >= 5 and time.time() – float(r.lindex(id, 4)) <= 3600:
print(“you are forbidden logining”)
else:
print(‘you are allowed to login’)
r.lpush(id, time.time())
# login_func()
9.為什么redis需要把所有資料放到記憶體中?
Redis為了達到最快的讀寫速度將資料都讀到記憶體中,并通過異步的方式將資料寫入磁盤,所以redis具有快速和資料持久化的特征,
如果不將資料放在記憶體中,磁盤I/O速度為嚴重影響redis的性能,在記憶體越來越便宜的今天,redis將會越來越受歡迎,
如果設定了最大使用的記憶體,則資料已有記錄數達到記憶體限值后不能繼續插入新值,
10.Redis是單行程單執行緒的
redis利用佇列技術將并發訪問變為串行訪問,消除了傳統資料庫串行控制的開銷,
11.redis的并發競爭問題如何解決?
Redis為單行程單執行緒模式,采用佇列模式將并發訪問變為串行訪問,
Redis本身沒有鎖的概念,Redis對于多個客戶端連接并不存在競爭,但是在Jedis客戶端對Redis進行并發訪問時會發生連接超時、資料轉換錯誤、阻塞、客戶端關閉連接等問題,這些問題均是
由于客戶端連接混亂造成,對此有2種解決方法:
-
客戶端角度,為保證每個客戶端間正常有序與Redis進行通信,對連接進行池化,同時對客戶端讀寫Redis操作采用內部鎖synchronized,
-
服務器角度,利用setnx實作鎖,
注:對于第一種,需要應用程式自己處理資源的同步,可以使用的方法比較通俗,可以使用synchronized也可以使用lock;第二種需要用到Redis的setnx命令,但是需要注意一些問題,
12.redis事物的了解CAS(check-and-set 操作實作樂觀鎖 )?
和眾多其它資料庫一樣,Redis作為NoSQL資料庫也同樣提供了事務機制,在Redis中,MULTI/EXEC/DISCARD/WATCH這四個命令是我們實作事務的基石,
相信對有關系型資料庫開發經驗的開發者而言這一概念并不陌生,即便如此,我們還是會簡要的列出Redis中事務的實作特征:
-
在事務中的所有命令都將會被串行化的順序執行,事務執行期間,Redis不會再為其它客戶端的請求提供任何服務,從而保證了事物中的所有命令被原子的執行,
-
和關系型資料庫中的事務相比,在Redis事務中如果有某一條命令執行失敗,其后的命令仍然會被繼續執行,
-
我們可以通過MULTI命令開啟一個事務,有關系型資料庫開發經驗的人可以將其理解為"BEGIN TRANSACTION"陳述句,
在該陳述句之后執行的命令都將被視為事務之內的操作,最后我們可以通過執行EXEC/DISCARD命令來提交/回滾該事務內的所有操作,這兩個Redis命令可被視為等同于關系型資料庫中的COMMIT/ROLLBACK陳述句,
-
在事務開啟之前,如果客戶端與服務器之間出現通訊故障并導致網路斷開,其后所有待執行的陳述句都將不會被服務器執行,
然而如果網路中斷事件是發生在客戶端執行EXEC命令之后,那么該事務中的所有命令都會被服務器執行,
-
當使用Append-Only模式時,Redis會通過呼叫系統函式write將該事務內的所有寫操作在本次呼叫中全部寫入磁盤,
然而如果在寫入的程序中出現系統崩潰,如電源故障導致的宕機,那么此時也許只有部分資料被寫入到磁盤,而另外一部分資料卻已經丟失,
Redis服務器會在重新啟動時執行一系列必要的一致性檢測,一旦發現類似問題,就會立即退出并給出相應的錯誤提示,
此時,我們就要充分利用Redis工具包中提供的redis-check-aof工具,該工具可以幫助我們定位到資料不一致的錯誤,并將已經寫入的部分資料進行回滾,修復之后我們就可以再次重新啟動Redis服務器了,
13.WATCH命令和基于CAS的樂觀鎖:
在Redis的事務中,WATCH命令可用于提供CAS(check-and-set)功能,
假設我們通過WATCH命令在事務執行之前監控了多個Keys,倘若在WATCH之后有任何Key的值發生了變化,EXEC命令執行的事務都將被放棄,同時回傳Null multi-bulk應答以通知呼叫者事務執行失敗,
例如,我們再次假設Redis中并未提供incr命令來完成鍵值的原子性遞增,如果要實作該功能,我們只能自行撰寫相應的代碼,其偽碼如下:
val = GET mykey
val = val + 1
SET mykey $val
以上代碼只有在單連接的情況下才可以保證執行結果是正確的,因為如果在同一時刻有多個客戶端在同時執行該段代碼,那么就會出現多執行緒程式中經常出現的一種錯誤場景--競態爭用(race condition),
比如,客戶端A和B都在同一時刻讀取了mykey的原有值,假設該值為10,此后兩個客戶端又均將該值加一后set回Redis服務器,這樣就會導致mykey的結果為11,而不是我們認為的12,
為了解決類似的問題,我們需要借助WATCH命令的幫助,見如下代碼:
WATCH mykey
val = GET mykey
val = val + 1
MULTI
SET mykey $val
EXEC
和此前代碼不同的是,新代碼在獲取mykey的值之前先通過WATCH命令監控了該鍵,此后又將set命令包圍在事務中,這樣就可以有效的保證每個連接在執行EXEC之前
如果當前連接獲取的mykey的值被其它連接的客戶端修改,那么當前連接的EXEC命令將執行失敗,這樣呼叫者在判斷回傳值后就可以獲悉val是否被重新設定成功,
14.redis持久化的幾種方式
1、快照(snapshots)
預設情況情況下,Redis把資料快照存放在磁盤上的二進制檔案中,檔案名為dump,rdb,你可以配置Redis的持久化策略,例如資料集中每N秒鐘有超過M次更新,就將資料寫入磁盤;或者你可以手工呼叫命令SAVE或BGSAVE,
作業原理
-
Redis forks,
-
子行程開始將資料寫到臨時RDB檔案中,
-
當子行程完成寫RDB檔案,用新檔案替換老檔案,
-
這種方式可以使Redis使用copy-on-write技術,
2、AOF
快照模式并不十分健壯,當系統停止,或者無意中Redis被kill掉,最后寫入Redis的資料就會丟失,這對某些應用也許不是大問題,但對于要求高可靠性的應用來說,Redis就不是一個合適的選擇,
Append-only檔案模式是另一種選擇,你可以在組態檔中打開AOF模式,
3、虛擬記憶體方式
當你的key很小而value很大時,使用VM的效果會比較好,因為這樣節約的記憶體比較大,當你的key不小時,可以考慮使用一些非常方法將很大的key變成很大的value,比如你可以考慮將key,value組合成一個新的value,
vm-max-threads這個引數,可以設定訪問swap檔案的執行緒數,設定最好不要超過機器的核數,如果設定為0,那么所有對swap檔案的操作都是串行的,可能會造成比較長時間的延遲,但是對資料完整性有很好的保證,
自己測驗的時候發現用虛擬記憶體性能也不錯,如果資料量很大,可以考慮分布式或者其他資料庫
15.redis的快取失效策略和主鍵失效機制
作為快取系統都要定期清理無效資料,就需要一個主鍵失效和淘汰策略,
在Redis當中,有生存期的key被稱為volatile,在創建快取時,要為給定的key設定生存期,當key過期的時候(生存期為0),它可能會被洗掉,
1、影響生存時間的一些操作
生存時間可以通過使用 DEL 命令來洗掉整個 key 來移除,或者被 SET 和 GETSET 命令覆寫原來的資料,也就是說,修改key對應的value和使用另外相同的key和value來覆寫以后,當前資料的生存時間不同,
比如說,對一個 key 執行INCR命令,對一個串列進行LPUSH命令,或者對一個哈希表執行HSET命令,這類操作都不會修改 key 本身的生存時間,另一方面,如果使用RENAME對一個 key 進行改名,那么改名后的 key的生存時間和改名前一樣,
RENAME命令的另一種可能是,嘗試將一個帶生存時間的 key 改名成另一個帶生存時間的 another_key ,這時舊的 another_key (以及它的生存時間)會被洗掉,然后舊的 key 會改名為 another_key
因此,新的 another_key 的生存時間也和原本的 key 一樣,使用PERSIST命令可以在不洗掉 key 的情況下,移除 key 的生存時間,讓 key 重新成為一個persistent key ,
2、如何更新生存時間
可以對一個已經帶有生存時間的 key 執行EXPIRE命令,新指定的生存時間會取代舊的生存時間,過期時間的精度已經被控制在1ms之內,主鍵失效的時間復雜度是O(1),EXPIRE和TTL命令搭配使用,TTL可以查看key的當前生存時間,設定成功回傳 1;當 key 不存在或者不能為 key 設定生存時間時,回傳 0 ,
最大快取配置
在 redis 中,允許用戶設定最大使用記憶體大小,server,maxmemory默認為0,沒有指定最大快取,如果有新的資料添加,超過最大記憶體,則會使redis崩潰,所以一定要設定,redis 記憶體資料集大小上升到一定大小的時候,就會實行資料淘汰策略,
redis 提供 6種資料淘汰策略:
-
volatile-lru:從已設定過期時間的資料集(server.db[i].expires)中挑選最近最少使用的資料淘汰
-
volatile-ttl:從已設定過期時間的資料集(server.db[i].expires)中挑選將要過期的資料淘汰
-
volatile-random:從已設定過期時間的資料集(server.db[i].expires)中任意選擇資料淘汰
-
allkeys-lru:從資料集(server.db[i].dict)中挑選最近最少使用的資料淘汰
-
allkeys-random:從資料集(server.db[i].dict)中任意選擇資料淘汰
-
no-enviction(驅逐):禁止驅逐資料
注意這里的6種機制,volatile和allkeys規定了是對已設定過期時間的資料集淘汰資料還是從全部資料集淘汰資料,后面的lru、ttl以及random是三種不同的淘汰策略,再加上一種no-enviction永不回收的策略,
使用策略規則:
-
如果資料呈現冪律分布,也就是一部分資料訪問頻率高,一部分資料訪問頻率低,則使用allkeys-lru
-
如果資料呈現平等分布,也就是所有的資料訪問頻率都相同,則使用allkeys-random
三種資料淘汰策略:
ttl和random比較容易理解,實作也會比較簡單,主要是Lru最近最少使用淘汰策略,設計上會對key 按失效時間排序,然后取最先失效的key進行淘汰,
16.redis 最適合的場景
Redis最適合所有資料in-momory的場景,雖然Redis也提供持久化功能,但實際更多的是一個disk-backed的功能,跟傳統意義上的持久化有比較大的差別
那么可能大家就會有疑問,似乎Redis更像一個加強版的Memcached,那么何時使用Memcached,何時使用Redis呢?
如果簡單地比較Redis與Memcached的區別,大多數都會得到以下觀點:
-
Redis不僅僅支持簡單的k/v型別的資料,同時還提供list,set,zset,hash等資料結構的存盤,
-
Redis支持資料的備份,即master-slave模式的資料備份,
-
Redis支持資料的持久化,可以將記憶體中的資料保持在磁盤中,重啟的時候可以再次加載進行使用,
(1)會話快取(Session Cache)
最常用的一種使用Redis的情景是會話快取(session cache),
用Redis快取會話比其他存盤(如Memcached)的優勢在于:Redis提供持久化,當維護一個不是嚴格要求一致性的快取時,如果用戶的購物車資訊全部丟失,大部分人都會不高興的,現在,他們還會這樣嗎?
幸運的是,隨著 Redis 這些年的改進,很容易找到怎么恰當的使用Redis來快取會話的檔案,甚至廣為人知的商業平臺Magento也提供Redis的插件,
(2)全頁快取(FPC)
除基本的會話token之外,Redis還提供很簡便的FPC平臺,回到一致性問題,即使重啟了Redis實體,因為有磁盤的持久化,用戶也不會看到頁面加載速度的下降,這是一個極大改進,類似PHP本地FPC,
再次以Magento為例,Magento提供一個插件來使用Redis作為全頁快取后端,
此外,對WordPress的用戶來說,Pantheon有一個非常好的插件 wp-redis,這個插件能幫助你以最快速度加載你曾瀏覽過的頁面,
(3)佇列
Reids在記憶體存盤引擎領域的一大優點是提供 list 和 set 操作,這使得Redis能作為一個很好的訊息佇列平臺來使用,Redis作為佇列使用的操作,就類似于本地程式語言(如Python)對 list 的 push/pop 操作,
如果你快速的在Google中搜索“Redis queues”,你馬上就能找到大量的開源專案,這些專案的目的就是利用Redis創建非常好的后端工具,以滿足各種佇列需求,例如,Celery有一個后臺就是使用Redis作為broker,你可以從這里去查看,
(4)排行榜/計數器
Redis在記憶體中對數字進行遞增或遞減的操作實作的非常好,集合(Set)和有序集合(Sorted Set)也使得我們在執行這些操作的時候變的非常簡單,Redis只是正好提供了這兩種資料結構,
所以,我們要從排序集合中獲取到排名最靠前的10個用戶–我們稱之為“user_scores”,
當然,這是假定你是根據你用戶的分數做遞增的排序,如果你想回傳用戶及用戶的分數,你需要這樣執行:
ZRANGE user_scores 0 10 WITHSCORES
Agora Games就是一個很好的例子,用Ruby實作的,它的排行榜就是使用Redis來存盤資料的,你可以在這里看到,
(5)發布/訂閱
最后(但肯定不是最不重要的)是Redis的發布/訂閱功能,
發布/訂閱的使用場景確實非常多,我已看見人們在社交網路連接中使用,還可作為基于發布/訂閱的腳本觸發器,甚至用Redis的發布/訂閱功能來建立聊天系統!(不,這是真的,你可以去核實),
Redis提供的所有特性中,我感覺這個是喜歡的人最少的一個,雖然它為用戶提供如此多功能,
作者:回首笑人間
https://www.cnblogs.com/Survivalist/p/8119891.html
寫在最后
分享一些Java學習資料獲取方式:點擊鏈接《Java面試BAT通關手冊》,覆寫了Java核心技術、JVM、Java并發、SSM、微服務、資料庫、資料結構等等,
轉載請註明出處,本文鏈接:https://www.uj5u.com/houduan/116762.html
標籤:Java
