MongoDB高級應用之高可用方案實戰（4）-有解無憂

1、MongDB啟動與關閉

1.1、命令列啟動


./mongod --fork --dbpath=/opt/mongodb/data ----logpath=/opt/mongodb/log/mongodb.log

1.2、組態檔啟動


./mongod -f mongodb.cfg
mongoDB基本配置/opt/mongodb/mongodb.cfg
dbpath=/opt/mongodb/data
logpath=/opt/mongodb/logs/mongodb.log
logappend=true
fork=true
bind_ip=192.168.209.128
port=27017

環境變數配置


export PATH=/opt/mongodb/bin:$PATH

2、MongoDB主從搭建

Mongodb有三種集群方式的搭建：Master-Slaver/Replica Set / Sharding，下面是最簡答的集群搭建，不過準確說也不能算是集群，只能說是主備，并且官方已經不推薦這種方式，所以在這里只是簡單的介紹下吧，搭建方式也相對簡單，主機配置 /opt/mongodb/master-slave/master/mongodb.cfg


dbpath=/opt/mongodb/master-slave/master/data
logpath=/opt/mongodb/master-slave/master/logs/mongodb.log
logappend=true
fork=true
bind_ip=192.168.209.128
port=27001
master=true
source=192.168.209.128:27002

從機配置 /opt/mongodb/master-slave/slave/mongodb.cfg


dbpath=/opt/mongodb/master-slave/slave/data
logpath=/opt/mongodb/master-slave/slave/logs/mongodb.log
logappend=true
fork=true
bind_ip=192.168.209.128
port=27002
slave=true
source=192.168.209.128:27001

啟動服務


cd /opt/mongodb/master-slave/master/
mongod --config mongodb.cfg #主節點  
cd /opt/mongodb/master-slave/slave/
mongod --config mongodb.cfg #從節點

連接測驗


#客戶端連接主節點
mongo  --host 192.168.209.128 --port 27001
#客戶端從節點
mongo  --host 192.168.209.128 --port 27002

基本上只要在主節點和備節點上分別執行這兩條命令，Master-Slaver就算搭建完成了，我沒有試過主節點掛掉后備節點是否能變成主節點，不過既然已經不推薦了，大家就沒必要去使用了，

3、MongoDB副本集

中文翻譯叫做副本集，不過我并不喜歡把英文翻譯成中文，總是感覺怪怪的，其實簡單來說就是集群當中包含了多份資料，保證主節點掛掉了，備節點能繼續提供資料服務，提供的前提就是資料需要和主節點一致，如下圖：

file

Mongodb(M)表示主節點，Mongodb(S)表示備節點，Mongodb(A)表示仲裁節點，主備節點存盤資料，仲裁節點不存盤資料，客戶端同時連接主節點與備節點，不連接仲裁節點，

默認設定下，主節點提供所有增刪查改服務，備節點不提供任何服務，但是可以通過設定使備節點提供查詢服務，這樣就可以減少主節點的壓力，當客戶端進行資料查詢時，請求自動轉到備節點上，這個設定叫做Read Preference Modes，同時Java客戶端提供了簡單的配置方式，可以不必直接對資料庫進行操作，
仲裁節點是一種特殊的節點，它本身并不存盤資料，主要的作用是決定哪一個備節點在主節點掛掉之后提升為主節點，所以客戶端不需要連接此節點，這里雖然只有一個備節點，但是仍然需要一個仲裁節點來提升備節點級別，我開始也不相信必須要有仲裁節點，但是自己也試過沒仲裁節點的話，主節點掛了備節點還是備節點，所以咱們還是需要它的，
介紹完了集群方案，那么現在就開始搭建了，

3.1.建立資料檔案夾

一般情況下不會把資料目錄建立在mongodb的解壓目錄下，不過這里方便起見，就建在mongodb解壓目錄下吧，


#三個目錄分別對應主，備，仲裁節點
mkdir -p /opt/mongodb/replset/master  
mkdir -p /opt/mongodb/replset/slaver   
mkdir -p /opt/mongodb/replset/arbiter

3.2.建立組態檔

由于配置比較多，所以我們將配置寫到檔案里，


vi /opt/mongodb/replset/master/mongodb.cfg
dbpath=/opt/mongodb/replset/master/data  
logpath=/opt/mongodb/replset/master/logs/mongodb.log  
logappend=true  
replSet=shard002
bind_ip=192.168.209.128  
port=27017  
fork=true  
vi /opt/mongodb/replset/slave/mongodb.cfg
dbpath=/opt/mongodb/replset/slave/data  
logpath=/opt/mongodb/replset/slave/logs/mongodb.log  
logappend=true  
replSet=shard002
bind_ip=192.168.209.129  
port=27017  
fork=true  
vi /opt/mongodb/replset/arbiter/mongodb.cfg
dbpath=/opt/mongodb/replset/arbiter/data  
logpath=/opt/mongodb/replset/arbiter/logs/mongodb.log  
logappend=true  
replSet=shard002
bind_ip=192.168.209.130  
port=27017  
fork=true

引數解釋：

dbpath：資料存放目錄

logpath：日志存放路徑

logappend：以追加的方式記錄日志

replSet：replica set的名字

bind_ip：mongodb所系結的ip地址

port：mongodb行程所使用的埠號，默認為27017

fork：以后臺方式運行行程

3.3、分發到集群下的其他機器


#將從節點配置發送到192.168.209.129
scp -r /opt/mongodb/replset/slave [email protected]:/opt/mongodb/replset
#將仲裁節點配置發送到192.168.209.130
scp -r /opt/mongodb/replset/arbiter [email protected]:/opt/mongodb/replset

3.4.啟動mongodb

進入每個mongodb節點的bin目錄下


#登錄192.168.209.128 啟動主節點
monood -f /opt/mongodb/replset/master/mongodb.cfg  
#登錄192.168.209.129 啟動從節點
mongod -f /opt/mongodb/replset/slave/mongodb.cfg 
#登錄192.168.209.130 啟動仲裁節點
mongod -f /opt/mongodb/replset/arbiter/mongodb.cfg

注意組態檔的路徑一定要保證正確，可以是相對路徑也可以是絕對路徑，

3.5.配置主，備，仲裁節點

可以通過客戶端連接mongodb，也可以直接在三個節點中選擇一個連接mongodb，


#ip和port是某個節點的地址
mongo 192.168.209.128:27017
use admin 
cfg={_id:"shard002",members:[{_id:0,host:'192.168.209.128:27017',priority:9},{_id:1,host:'192.168.209.129:27017',priority:1},{_id:2,host:'192.168.209.130:27017',arbiterOnly:true}]};
#使配置生效
rs.initiate(cfg)

注意：cfg是相當于設定一個變數，可以是任意的名字，當然最好不要是mongodb的關鍵字，conf，config都可以，最外層的_id表示replica set的名字，members里包含的是所有節點的地址以及優先級，優先級最高的即成為主節點，即這里的192.168.209.128:27017，特別注意的是，對于仲裁節點，需要有個特別的配置——arbiterOnly:true，這個千萬不能少了，不然主備模式就不能生效，

配置的生效時間根據不同的機器配置會有長有短，配置不錯的話基本上十幾秒內就能生效，有的配置需要一兩分鐘，如果生效了，執行rs.status()命令會看到如下資訊：


{  
            "set" : "testrs",  
            "date" : ISODate("2013-01-05T02:44:43Z"),  
            "myState" : 1,  
            "members" : [  
                    {  
                            "_id" : 0,  
                            "name" : "192.168.209.128:27004",  
                            "health" : 1,  
                            "state" : 1,  
                            "stateStr" : "PRIMARY",  
                            "uptime" : 200,  
                            "optime" : Timestamp(1357285565000, 1),  
                            "optimeDate" : ISODate("2017-12-22T07:46:05Z"),  
                            "self" : true  
                    },  
                    {  
                            "_id" : 1,  
                            "name" : "192.168.209.128:27003",  
                            "health" : 1,  
                            "state" : 2,  
                            "stateStr" : "SECONDARY",  
                            "uptime" : 200,  
                            "optime" : Timestamp(1357285565000, 1),  
                            "optimeDate" : ISODate("2017-12-22T07:46:05Z"),  
                            "lastHeartbeat" : ISODate("2017-12-22T02:44:42Z"),  
                            "pingMs" : 0  
                    },  
                    {  
                            "_id" : 2,  
                            "name" : "192.168.209.128:27005",  
                            "health" : 1,  
                            "state" : 7,  
                            "stateStr" : "ARBITER",  
                            "uptime" : 200,  
                            "lastHeartbeat" : ISODate("2017-12-22T02:44:42Z"),  
                            "pingMs" : 0  
                    }  
            ],  
            "ok" : 1  
    }

如果配置正在生效，其中會包含如下資訊：


"stateStr" : "STARTUP"

同時可以查看對應節點的日志，發現正在等待別的節點生效或者正在分配資料檔案，
現在基本上已經完成了集群的所有搭建作業，至于測驗作業，可以留給大家自己試試，一個是往主節點插入資料，能從備節點查到之前插入的資料（查詢備節點可能會遇到某個問題，可以自己去網上查查看），二是停掉主節點，備節點能變成主節點提供服務，三是恢復主節點，備節點也能恢復其備的角色，而不是繼續充當主的角色，二和三都可以通過rs.status()命令實時查看集群的變化，

4、MongoDB資料分片

和Replica Set類似，都需要一個仲裁節點，但是Sharding還需要配置節點和路由節點，就三種集群搭建方式來說，這種是最復雜的，

4.1、配置資料節點


mkdir -p /opt/mongodb/shard/replset/replica1/data
mkdir -p /opt/mongodb/shard/replset/replica1/logs
mkdir -p /opt/mongodb/shard/replset/replica2/data
mkdir -p /opt/mongodb/shard/replset/replica2/logs
mkdir -p /opt/mongodb/shard/replset/replica3/data
mkdir -p /opt/mongodb/shard/replset/replica3/logs
vi /opt/mongodb/shard/replset/replica1/mongodb.cfg
dbpath=/opt/mongodb/shard/replset/replica1/data
logpath=/opt/mongodb/shard/replset/replica1/logs/mongodb.log
logappend=true
fork=true
bind_ip=192.168.209.128
port=27001
replSet=shard001
shardsvr=true
vi /opt/mongodb/shard/replset/replica2/mongodb.cfg
dbpath=/opt/mongodb/shard/replset/replica2/data
logpath=/opt/mongodb/shard/replset/replica2/logs/mongodb.log
logappend=true
fork=true
bind_ip=192.168.209.128
port=27002
replSet=shard001
shardsvr=true
vi /opt/mongodb/shard/replset/replica3/mongodb.cfg
dbpath=/opt/mongodb/shard/replset/replica3/data
logpath=/opt/mongodb/shard/replset/replica3/logs/mongodb.log
logappend=true
fork=true
bind_ip=192.168.209.128
port=27003
replSet=shard001
shardsvr=true

4.2、啟動資料節點


mongod -f /opt/mongodb/shard/replset/replica1/mongodb.cfg #192.168.209.128:27001
mongod -f /opt/mongodb/shard/replset/replica2/mongodb.cfg #192.168.209.128:27002
mongod -f /opt/mongodb/shard/replset/replica3/mongodb.cfg #192.168.209.128:27003

4.3、使資料節點集群生效


mongo 192.168.209.128:27001   #ip和port是某個節點的地址  
cfg={_id:"shard001",members:[{_id:0,host:'192.168.209.128:27001'},{_id:1,host:'192.168.209.128:27002'},{_id:2,host:'192.168.209.128:27003'}]};
rs.initiate(cfg)  #使配置生效

4.4、配置configsvr


mkdir -p /opt/mongodb/shard/configsvr/config1/data
mkdir -p /opt/mongodb/shard/configsvr/config1/logs
mkdir -p /opt/mongodb/shard/configsvr/config2/data
mkdir -p /opt/mongodb/shard/configsvr/config2/logs
mkdir -p /opt/mongodb/shard/configsvr/config3/data
mkdir -p /opt/mongodb/shard/configsvr/config3/logs
/opt/mongodb/shard/configsvr/config1/mongodb.cfg
dbpath=/opt/mongodb/shard/configsvr/config1/data
configsvr=true
port=28001
fork=true
logpath=/opt/mongodb/shard/configsvr/config1/logs/mongodb.log
replSet=configrs
logappend=true
bind_ip=192.168.209.128
/opt/mongodb/shard/configsvr/config2/mongodb.cfg
dbpath=/opt/mongodb/shard/configsvr/config2/data
configsvr=true
port=28002
fork=true
logpath=/opt/mongodb/shard/configsvr/config2/logs/mongodb.log
replSet=configrs
logappend=true
bind_ip=192.168.209.128
/opt/mongodb/shard/configsvr/config3/mongodb.cfg
dbpath=/opt/mongodb/shard/configsvr/config3/data
configsvr=true
port=28003
fork=true
logpath=/opt/mongodb/shard/configsvr/config3/logs/mongodb.log
replSet=configrs
logappend=true
bind_ip=192.168.209.128

4.5、啟動configsvr節點


mongod -f /opt/mongodb/shard/configsvr/config1/mongodb.cfg #192.168.209.128:28001
mongod -f /opt/mongodb/shard/configsvr/config2/mongodb.cfg #192.168.209.128:28002
mongod -f /opt/mongodb/shard/configsvr/config3/mongodb.cfg #192.168.209.128:28003

4.6、使configsvr節點集群生效


mongo 192.168.209.128:28001   #ip和port是某個節點的地址  
use admin  #先切換到admin
cfg={_id:"configrs",members:[{_id:0,host:'192.168.209.128:28001'},{_id:1,host:'192.168.209.128:28002'},{_id:2,host:'192.168.209.128:28003'}]};
rs.initiate(cfg)  #使配置生效

配置路由節點


mkdir -p /opt/mongodb/shard/routesvr/logs
#注意:路由節點沒有data檔案夾
vi /opt/mongodb/shard/routesvr/mongodb.cfg
configdb=configrs/192.168.209.128:28001,192.168.209.128:28002,192.168.209.128:28003
port=30000
fork=true
logpath=/opt/mongodb/shard/routesvr/logs/mongodb.log
logappend=true
bind_ip=192.168.209.128

4.7.啟動路由節點


./mongos -f /opt/mongodb/shard/routesvr/mongodb.cfg #192.168.209.128:30000

這里我們沒有用組態檔的方式啟動，其中的引數意義大家應該都明白，一般來說一個資料節點對應一個配置節點，仲裁節點則不需要對應的配置節點，注意在啟動路由節點時，要將配置節點地址寫入到啟動命令里，

4.8.配置Replica Set

這里可能會有點奇怪為什么Sharding會需要配置Replica Set，其實想想也能明白，多個節點的資料肯定是相關聯的，如果不配一個Replica Set，怎么標識是同一個集群的呢，這也是人家mongodb的規定，咱們還是遵守吧，配置方式和之前所說的一樣，定一個cfg，然后初始化配置，

4.9.配置Sharding


mongo 192.168.209.128:30000   #這里必須連接路由節點  
sh.addShard("shard001/192.168.209.128:27001");
sh.addShard("shard002/192.168.209.128:27017");
 #shard001、shard002表示replica set的名字 當把主節點添加到shard以后，會自動找到set里的主，備，決策節點  
use testdb
sh.enableSharding("testdb")    #testdb is database name  
sh.shardCollection("testdb.testcon",{"name":”hashed”})
db.collection.status()

第一個命令很容易理解，第二個命令是對需要進行Sharding的資料庫進行配置，第三個命令是對需要進行Sharding的Collection進行配置，這里的testcon即為Collection的名字，另外還有個key，這個是比較關鍵的東西，對于查詢效率會有很大的影響，
到這里Sharding也已經搭建完成了，以上只是最簡單的搭建方式，其中某些配置仍然使用的是默認配置，如果設定不當，會導致效率例外低下，所以建議大家多看看官方檔案再進行默認配置的修改，

以上三種集群搭建方式首選Replica Set，只有真的是大資料，Sharding才能顯現威力，畢竟備節點同步資料是需要時間的，Sharding可以將多片資料集中到路由節點上進行一些對比，然后將資料回傳給客戶端，但是效率還是比較低的說，

我自己有測驗過，不過具體的機器配置已經不記得了，Replica Set的ips在資料達到1400W條時基本能達到1000左右，而Sharding在300W時已經下降到500 IPS，兩者的單位資料大小大概是10kb，大家在應用的時候還是多多做下性能測驗，畢竟不像Redis有benchmark，

本文為“Tom彈架構”原創，轉載請注明出處，技術在于分享，我分享我快樂！
如果本文對您有幫助，歡迎關注和點贊；如果您有任何建議也可留言評論或私信，您的支持是我堅持創作的動力，

原創不易，堅持很酷，都看到這里了，小伙伴記得點贊、收藏、在看，一鍵三連加關注！如果你覺得內容太干，可以分享轉發給朋友滋潤滋潤！

轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/404274.html

標籤：其他

上一篇：java Redis工具類

下一篇：不止短信！教你用 Python 發送告警通知到微信