NoSQL之Redis配置與優化
- 一、關系資料庫與非關系型資料庫
- 1.1 關系型資料庫
- 1.2 非關系型資料庫
- 二、關系型資料庫和非關系型資料庫區別
- 2.1 資料存盤方式不同
- 2.2 擴展方式不同
- 2.3 對事務性的支持不同
- 三、非關系型資料庫產生背景
- 四、Redis簡介
- 4.1 Redis具有以下幾個優點
- 五、Redis安裝部署
- 5.1 Redis服務控制
- 六、Redis命令工具
- 七、redis-cli 命令列工具
- 八、redis-benchmark測驗工具
- 九、Redis資料庫常用命令
- keys命令可以取符合規則的鍵值串列,通常情況可以結合*、?等選項來使用
- exists命令可以判斷鍵值是否存在
- del命令可以洗掉當前資料庫的指定key
- type 命令可以獲取key對應的value 值型別
- rename 命令是對已有key進行重命名, (覆寫)
- renamenx 命令的作用是對已有key進行重命名,并檢測新名是否存在,如果目標key存在則不進行重命名,(不覆寫)
- dbsize命令的作用是查看當前資料庫中key的數目
- 使用config set requirepass yourpassword命令設定密碼
- 使用config get requirepass命令查看密碼(一旦設定密碼,必須先驗證通過密碼,否則所有操作不可用)
- 十、Redis多資料庫常用命令
- 10.1 多資料庫間切換
- 10.2 多資料庫間移動資料
- 10.3 清除資料庫內資料
- 十一、Redis高可用
- 11.1 Redis持久化
- 11.1.1 Redis提供兩種方式進行持久化
- 11.2 RDB持久化
- 11.2.1 觸發條件
- 11.2.2執行流程
- 11.2.3 啟動時加載
一、關系資料庫與非關系型資料庫
1.1 關系型資料庫
關系型資料庫是一一個結構化的資料庫,創建在關系模型(二維表格模型)基礎上,一般面向于記錄,
SQL陳述句(標準資料查詢語言)就是一種基于關系型資料庫的語言,用于執行對關系型資料庫中資料的檢索和操作,
主流的關系型資料庫包括Oracle、MySQL、SQL Server、Microsoft Access、DB2等,
1.2 非關系型資料庫
NoSQL (NoSQL = Not Only SQL ),意思是“不僅僅是SQL”,是非關系型資料庫的總稱,
除了主流的關系型資料庫外的資料庫,都認為是非關系型,
主流的NoSQL 資料庫有Redis、 MongBD、Hbase、 Memcached 等,
二、關系型資料庫和非關系型資料庫區別
2.1 資料存盤方式不同
關系型和非關系型資料庫的主要差異是資料存盤的方式,關系型資料天然就是表格式的,因此存盤在資料表的行和列中,資料表可以彼此關聯協作存盤,也很容易提取資料,
與其相反,非關系型資料不適合存盤在資料表的行和列中,而是大塊組合在一起,非關系型資料通常存盤在資料集中,就像檔案、鍵值對或者圖結構,你的資料及其特性是選擇資料存盤和提取方式的首要影響因素,
2.2 擴展方式不同
SQL和NoSQL資料庫最大的差別可能是在擴展方式上,要支持日益增長的需求當然要擴展,
要支持更多并發量,SQL資料庫是縱向擴展,也就是說提高處理能力,使用速度更快速的計算機,這樣處理相同的資料集就更快了,因為資料存盤在關系表中,操作的性能瓶頸可能涉及很多個表,這都需要通過提高計算機性能來克服,雖然SQL資料庫有很大擴展空間,但最終肯定會達到縱向擴展的上限,
而NoSQL資料庫是橫向擴展的,因為非關系型資料存盤天然就是分布式的,NoSQL資料庫的擴展可以通過給資源池添加更多普通的**資料庫服務器(節點)**來分擔負載,
2.3 對事務性的支持不同
如果資料操作需要高事務性或者復雜資料查詢需要控制執行計劃,那么傳統的SQL資料庫從性能和穩定性方面考慮是你的最佳選擇,SQL資料庫支持對事務原子性細粒度控制,并且易于回滾事務,
雖然NoSQL資料庫也可以使用事務操作,但穩定性方面沒法和關系型資料庫比較,所以它們真正閃亮的價值是在操作的擴展性和大資料量處理方面,
三、非關系型資料庫產生背景
可用于應對Web2.0純動態網站型別的三高問題,
(1) High performance–對資料庫高并發讀寫需求
(2)HugeStorage–對海量資料高效存盤與訪問需求
(3) High Scalability && High Availability–對資料庫高可擴展性與高可用性需求
關系型資料庫和非關系型資料庫都有各自的特點與應用場景,兩者的緊密結合將會給Web2.0的資料庫發展帶來新的思路,讓關系資料庫關注在關系上,非關系型資料庫關注在存盤上,例如,在讀寫分離的MySQL資料庫環境中,可以把經常訪問的資料存盤在非關系型資料庫中,提升訪問速度,
總結
關系型資料庫
實體–>資料庫–>表(table)–>記錄行(row)、資料欄位(column)
非關系型資料庫:
實體–>資料庫–>集合(collection)–>鍵值對(key-value)
非關系型資料庫不需要手動建資料庫和集合(表),
四、Redis簡介
Redis是一個開源的、使用C語言撰寫的NoSQL 資料庫,
Redis基于記憶體運行并支持持久化,采用key-value (鍵值對)的存盤形式,是日前分布式架構中不可或缺的一環,
Redis服務器程式是單行程模型,也就是在一臺服務器上可以同時啟動多個Redis行程,Redis的實際處理速度則是完全依靠于主行程的執行效率,
若在服務器上只運行一個Redis行程,當多個客戶端同時訪問時,服務器的處理能力是會有一定程度的下降;
若在同一臺服務器上開啟多個Redis行程,Redis在提高并發處理能力的同時會給服務器的CPU造成很大壓力,即:在實際生產環境中,需要根據實際的需求來決定開啟多少個Redis行程,
若對高并發要求更高一些,可能會考慮在同一臺服務器上開啟多個行程,
若CPU資源比較緊張,采用單行程即可,
4.1 Redis具有以下幾個優點
(1)具有極高的資料讀寫速度:資料讀取的速度最高可達到110000次/s,資料寫入速度最高可達到81000 次/s,
(2)支持豐富的資料型別:支持key-value、 Strings、 Lists、 Hashes、 Sets 及Ordered Sets等資料型別操作,
(3)支持資料的持久化:可以將記憶體中的資料保存在磁盤中,重啟的時候可以再次加載進行使用,
(4)原子性:Redis所有操作都是原子性的,
(5)支持資料備份:即master-salve 模式的資料備份,
Redis作為基于記憶體運行的資料庫,快取是其最常應用的場景之一, 除此之外,Redis常 見應用場景還包括獲取最新N個資料的操作、排行榜類應用、計數器應用、存盤關系、實時分析系統、日志記錄,
五、Redis安裝部署
systemctl stop firewalld
setenforce 0
yum install -y gcc gcc-c++ make
tar zxvf redis-5.0.7.tar.gz -C /opt/
cd /opt/redis-5.0.7/
make
make PREFIX=/usr/local/redis install
#由于Redis原始碼包中直接提供了Makefile 檔案,所以在解壓完軟體包后,不用先執行./configure進行配置,可直接執行make與make install 命令進行安裝,
#在/utils里執行軟體包提供的install_server.sh腳本檔案設定Redis服務所需要的相關組態檔
cd /opt/redis-5.0.7/utils
./install_server.sh
...... #一直回車
Please select the redis executable path [/usr/local/bin/redis-server] /usr/local/redis/bin/redis-server
#需要手動修改為/usr/local/redis/bin/redis-server,注意要一次性正確輸入





Selected config:
Port :6379 #默認偵聽埠為6379
Config file :/etc/redis/6379.conf #組態檔路徑
Log file :/var/log/redis_6379.1og #日志檔案路徑
Data dir :/var/lib/redis/6379 #資料檔案路徑
Executable :/usr/local/redis/bin/redis-server #可執行檔案路徑
Cli Executable :/usr/local/bin/redis-cli #客戶端命令工具

#把redis的可執行程式檔案放入路徑環境變數的目錄中便于系統識別
ln -s /usr/local/redis/bin/* /usr/local/bin/
#當install_server.sh 腳本運行完畢,Redis 服務就已經啟動,默認偵聽埠為6379
netstat -natp | grep redis


5.1 Redis服務控制
/etc/init.d/redis 6379 stop #停止
/etc/init.d/redis 6379 start #啟動
/etc/init.d/redis 6379 restart #重啟
/etc/init.d/redis 6379 status #狀態


#修改配置/etc/redis/6379.conf引數
vim /etc/redis/6379.conf
bind 127.0.0.1 192.168.238.10 #70行,添加監聽的主機地址
port 6379 #93行,Redis默認的監聽埠
daemonize yes #137行,啟用守護行程
pidfile /var/run/redis_6379.pid #159行,指定PID 檔案
loglevel notice #167行,日志級別
logfile /var/log/redis_6379.log #172行,指定日志檔案
/etc/init.d/redis_6379 restart






六、Redis命令工具
| Redis命令工具 | 作用 |
|---|---|
| redis-server | 用于啟動Redis的工具 |
| redis-benchmark | 用于檢測Redis在本機的運行效率 |
| redis-check-aof | 修復AOF持久化檔案 |
| redis -check- rdb | 修復RDB 持久化檔案 |
| redis-cli | Redis 命令列工具 |
七、redis-cli 命令列工具
語法:redis-cli -h host -p port -a password
-h:指定遠程主機
-p:指定Redis服務的埠號
-a:指定密碼,未設定資料庫密碼可以省略-a選項
若不添加任何選項表示,則使用127.0.0.1:6379 連接本機上的Redis 數據庫
redis-cli -h 192.168.238.10 -p 6379

八、redis-benchmark測驗工具
redis-benchmark是官方自帶的Redis 性能測驗工具,可以有效的測驗Redis 服務的性能,
基本的測驗語法: redis-benchmark [選項] [選項值],
-h:指定服務器主機名,
-p:指定服務器埠,
-s:指定服務器socket
-c:指定并發連接數,
-n:指定請求數,
-d:以位元組的形式指定SET/GET值的資料大小,
-k:1=keep alive 0=reconnect,
-r:SET/GET/INCR 使用隨機key,SADD 使用隨機值,
-P:通過管道傳輸<numreq>請求,
-q:強制退出redis,僅顯示query/sec值,
--csv:以CSV格式輸出,
-l:生成回圈,永久執行測驗,
-t:僅運行以逗號分隔的測驗命令串列,
-I:Idle模式,僅打開N個idle連接并等待,
向IP地址為192.168.238.10、 埠為6379 的Redis 服務器發送5個并發連接與100000 個請求測驗性能
redis-benchmark -h 192.168.238.10 -p 6379 -c 5 -n 100000



測驗存取大小為100位元組的資料包的性能
redis-benchmark -h 192.168.238.10 -p 6379 -q -d 100

測驗本機上Redis 服務在進行set與lpush 操作時的性能
redis-benchmark -t set, lpush -n 100000 -q

九、Redis資料庫常用命令
set:存放資料,命令格式為set key value
get:獲取資料,命令格式為get key
127.0.0.1:6379> set teacher zhangsan
OK
127.0.0.1:6379> get teacher
" zhangsan"

keys命令可以取符合規則的鍵值串列,通常情況可以結合*、?等選項來使用
127.0.0.1:6379> set k1 1
127.0.0.1:6379> set k2 2
127.0.0.1:6379> set k3 3
127.0.0.1:6379> set v1 4
127.0.0.1:6379> set v5 5
127.0.0.1:6379> set v22 5
127.0.0.1:6379> KEYS * #查看當前資料庫中所有鍵
127.0.0.1:6379> KEYS v* #查看當前資料庫中以v開頭的資料
127.0.0.1:6379> KEYS v? #查看當前資料庫中以v開頭后面包含任意一位的資料
127.0.0.1:6379> KEYS v?? #查看當前資料庫中以v開頭v開頭后面包含任意兩位的資料




exists命令可以判斷鍵值是否存在
127.0.0.1:6379> exists teacher #判斷teacher 鍵是否存在
(integer) 1 # 1表示teacher 鍵是存在
127.0.0.1:6379> exists tea
(integer) 0 #0表示tea鍵不存在

del命令可以洗掉當前資料庫的指定key
127.0.0.1:6379> keys *
127.0.0.1:6379> del v5
127.0.0.1:6379> get v5

type 命令可以獲取key對應的value 值型別
127.0.0.1:6379> type k1
string

rename 命令是對已有key進行重命名, (覆寫)
命令格式:rename 源key 目標key
使用rename命令進行重命名時,無論目標key是否存在都進行重命名,且源key的值會覆寫目標key的值,在實際使用程序中,建議先用exists命令查看目標key是否存在,然后再決定是否執行rename 命令,以避免覆寫重要資料,
127.0.0.1:6379> keys v*
1) "v1"
2) "v22"
127.0.0.1:6379> rename v22 v2
0K
127.0.0.1:6379> keys v*
1) "v1"
2) "v2"
127.0.0.1:6379> get v1
" 4"
127.0.0.1:6379> get v2
127.0.0.1:6379> rename v1 v2
0K
127.0.0.1:6379> get v1
(nil)
127.0.0.1:6379> get v2
"4"

renamenx 命令的作用是對已有key進行重命名,并檢測新名是否存在,如果目標key存在則不進行重命名,(不覆寫)
命令格式: renamenx 源key 目標key
127.0.0.1:6379> keys *
127.0.0.1:6379> get teacher
"zhangsan"
127.0.0.1:6379> get v2
"4"
127.0.0.1:6379> renamenx v2 teacher
(integer) 0
127.0.0.1:6379> keys *
127.0.0.1:6379> get teacher
"zhangsan"
127.0.0.1:6379> get v2
"4"

dbsize命令的作用是查看當前資料庫中key的數目
127.0.0.1:6379> dbsize

使用config set requirepass yourpassword命令設定密碼
127.0.0.1:6379> config set requirepass 123456
使用config get requirepass命令查看密碼(一旦設定密碼,必須先驗證通過密碼,否則所有操作不可用)
127.0.0.1:6379> auth 123456
127.0.0.1:6379> config get requirepass
十、Redis多資料庫常用命令
Redis支持多資料庫,Redis 默認情況下包含16個資料庫,資料庫名稱是用數字0~15 來依次命名的,
多資料庫相互獨立,互不干擾,
10.1 多資料庫間切換
命令格式:select 序號
使用redis-cli 連接Redis 資料庫后,默認使用的是序號為0的資料庫,
127.0.0.1:6379> select 10 #切換至序號為10的資料庫
127.0.0.1:6379[10]> select 15 #切換至序號為15的資料庫
127.0.0.1:6379[15]> select 0 #切換至序號為0的資料庫


10.2 多資料庫間移動資料
格式:move 鍵值序號
127.0.0.1:6379> set k1 100
OK
127.0.0.1:6379> get k1
"100"
127.0.0.1:6379> select 1
0K
127.0.0.1:6379[1]> get k1
(nil)
127.0.0.1:6379[1]> select 0 #切換至目標資料庫0
OK
127.0.0.1:6379> get k1 #查看目標資料是否存在
"100"
127.0.0.1:6379> move k1 1 #將資料庫0中k1移動到資料庫1中
(integer) 1
127.0.0.1:6379> select 1 #切換至目標資料庫1
0K
127.0.0.1:6379[1]> get k1 #查看被移動資料
"100"
127.0.0.1:6379[1]> select 0
OK
127.0.0.1:6379> get k1 #在資料庫0中無法查看到k1的值
(nil)

10.3 清除資料庫內資料
FLUSHDB:清空當前資料庫資料
FLUSHALL:清空所有資料庫的資料,慎用!


十一、Redis高可用
在web服務器中,高可用是指服務器可以正常訪問的時間,衡量的標準是在多長時間內可以提供正常服務(99.9%、99.99%、99.999%等等)
但是在Redis語境中,高可用的含義似乎要寬泛一些, 除了保證提供正常服務(如主從分離、快速容災技術),還需要考慮資料容量的擴展、資料安全不會丟失等,
在Redis中,實作高可用的技術主要包括持久化、主從復制、哨兵和集群,下面分別說明它們的作用,以及解決了什么樣的問題,
●持久化:持久化是最簡單的高可用方法(有時甚至不被歸為高可用的手段),主要作用是資料備份,即將資料存盤在硬碟,保證資料不會因行程退出而丟失,
●主從復制:主從復制是高可用Redis的基礎,哨兵和集群都是在主從復制基礎上實作高可用的,主從復制主要實作了資料的多機備份,以及對于讀操作的負載均衡和簡單的故障恢復,缺陷:故障恢復無法自動化;寫操作無法負載均衡;存盤能力受到單機的限制,
●哨兵:在主從復制的基礎上,哨兵實作了自動化的故障恢復,缺陷:寫操作無法負載均衡:存盤能力受到單機的限制,
●集群:通過集群,Redis解決了寫操作無法負載均衡,以及存盤能力受到單機限制的問題,實作了較為完善的高可用方案,
11.1 Redis持久化
持久化的功能:Redis是記憶體資料庫,資料都是存盤在記憶體中,為了避免服務器斷電等原因導致Redis行程例外退出后資料的永久丟失,需要定期將Redis中的資料以某種形式(資料或命令)從記憶體保存到硬碟:當下次Redis重啟時,利用持久化檔案實作資料恢復,除此之外,為了進行災難備份,可以將持久化檔案拷貝到一個遠程位置,
11.1.1 Redis提供兩種方式進行持久化
●RDB持久化:原理是將Reids在記憶體中的資料庫記錄定時保存到磁盤上,
●AOF持久化(append only file):原理是將Reids 的操作日志以追加的方式寫入檔案,類似于MySQL的binlog,
由于AOF持久化的實時性更好,即當行程意外退出時丟失的資料更少,因此AOF是目前主流的持久化方式,不過RDB持久化仍然有其用武之地,
11.2 RDB持久化
RDB持久化是指在指定的時間間隔內將記憶體中當前行程中的資料生成快照保存到硬碟(因此也稱作快照持久化),用二進制壓縮存盤,保存的檔案后綴是rdb;當Redis重新啟動時,可以讀取快照檔案恢復資料,
11.2.1 觸發條件
RDB持久化的觸發分為手動觸發和自動觸發兩種,
(1)手動觸發
save命令和bgsave命令都可以生成RDB檔案,
save命令會阻塞Redis服務器行程,直到RDB檔案創建完畢為止,在Redis服務器阻塞期間,服務器不能處理任何命令請求,
而bgsave命令會創建一-個子行程,由子行程來負責創建RDB檔案,父行程(即Redis主行程)則繼續處理請求,
bgsave命令執行程序中,只有fork 子行程時會阻塞服務器,而對于save命令, 整個程序都會阻塞服務器,因此save已基本被廢棄,線上環境要杜絕save的使用,
(2)自動觸發
在自動觸發RDB持久化時,Redis也會選擇bgsave而不是save來進行持久化,
save m n
自動觸發最常見的情況是在組態檔中通過save m n,指定當m秒內發生n次變化時,會觸發bgsave,
vim /etc/ redis/6379. conf
-- 219行--以下三個save條件滿足任意- - 個時,都會引起bgsave的呼叫
save 900 1 :當時間到900秒時, 如果redis資料發生了至少1次變化,則執行bgsave
save 300 10 :當時間到300秒時,如果redis資料發生了至少10次變化,則執行bgsave
save 60 10000 :當時間到60秒時,如果redis資料發生了至少10000次變化,則執行bgsave
--254行--指定RDB檔案名
dbfilename dump.rdb
-- 264行--指定RDB檔案和AOF檔案所在目錄
dir /var/lib/redis/6379
-- 242行--是否開啟RDB檔案壓縮
rdbcompression yes
##其他自動觸發機制##
除了savemn以外,還有–些其他情況會觸發bgsave:
●在主從復制場景下,如果從節點執行全量復制操作,則主節點會執行bgsave命令,并將rdb檔案發送給從節點,
●執行shutdown命令時,自動執行rdb持久化,
11.2.2執行流程
(1) Redis父行程首先判斷:當前是否在執行save,或bgsave/bgrewriteaof的 子行程,如果在執行則bgsave命令直接回傳,
bgsave/bgrewriteaof的子行程不能同時執行,主要是基于性能方面的考慮:兩個并發的子行程同時執行大量的磁盤寫操作,可能引起嚴重
的性能問題,
(2)父行程執行fork操作創建子行程,這個程序中父行程是阻塞的,Redis不能執行來自客戶端的任何命令
(3)父行程fork后,bgsave命令回傳”Background saving started"資訊并不再阻塞父行程,并可以回應其他命令
(4)子行程創建RDB檔案,根據父行程記憶體快照生成臨時快照檔案,完成后對原有檔案進行原子替換
(5)子行程發送信號給父行程表示完成,父行程更新統計資訊
11.2.3 啟動時加載
RDB檔案的載入作業是在服務器啟動時自動執行的,并沒有專門的命令,但是由于AOF的優先級更高,因此當AOF開啟時,Redis 會優先載入AOF檔案來恢復資料;只有當AOF關閉時,才會在Redis服務器啟動時檢測RDB檔案,并自動載入,服務器載入RDB檔案期間處于阻塞狀態,直到載入完成為止,
Redis載入RDB檔案時,會對RDB檔案進行校驗,如果檔案損壞,則日志中會列印錯誤,Redis啟動 失敗,

轉載請註明出處,本文鏈接:https://www.uj5u.com/ruanti/263428.html
標籤:其他
下一篇:撰寫高效優雅 Java 程式
