文章目錄
- 一、副本的概念
- 1、副本集的兩種型別
- 2、三種角色:
- 4、缺點
- 二、分片概念
- 三、分片集群包含的組件
- 四、部署 MongoDB 分片群集
- 1、環境準備
- 2、拓撲圖如下
- 3、環境搭建
- 4、config配置服務器
- 5、shard服務器
- 6、當某節點記憶體不足時，從其他節點分配記憶體
- 7、啟動路由服務器
- 8、設定分片
- 9、加入shard節點
- 五、分片管理
- 1、添加資料，進行分片存盤
- 2、添加標簽
- 3、連接config配置服務器：
- 4、添加/洗掉分片服務器
一、副本的概念
主從復制和副本集區別
主從集群和制本集最大的區別就是副本集沒有固定的“主節點";整個集群會選出一個主節點當其掛掉后，又在剩下的從節點中選中其他節點為"主節點"，副本集總有一個活躍點(主primary和一 個或多個備份節點(從secondary)，
1、副本集的兩種型別
副本集有兩種型別三種角色
兩種型別:
主節點(Primary) 型別:資料操作的主要連接點，可讀寫.
次要(輔助、從)節點(Secondaries) 型別:資料冗余備份節點，可以讀或選舉，
2、三種角色:
- 主要成員(Primary) :主要接收所有寫操作，就是主節點，
- 副本成員(Replicate) :從主節點通過復制操作以維護相同的資料集，即備份資料，可寫操作，但可以讀操作但需要配置，是默認的一種從節點型別，
- 仲裁者(Arbiter) :不保留任何資料的副本，只具有投票選舉作用，當然也可以將仲裁服務器維護為副本集的一部分，即副本成員同時也可以是仲裁者，也是一種從節點型別，
4、缺點
相當于只從復制 master宕機后就涼了 ，為了實作高可用，就不得不介紹一下分片的概念了
二、分片概念
分片(sharding) 是一-種跨多 臺機器分布資料的方法，MongoDB使用分 片來支持具有非常大的資料集和高吞吐量操作的部署，
換句話說:分片(sharding)是指將資料拆分，將其分散存在不同的機器上的程序，有時也用磁區(partitioning)來表示這個概念，將資料分散到不同的機器上,不需要功能強大的大型計算機就可以儲存更多的資料，處理更多的負載，
具有大型資料集或高吞吐量應用程式的資料庫系統可以會挑戰單個服務器的容量，例如，高查詢率會耗盡服務器的CPU容量，作業集大小大于系統的RAM會強調磁盤驅動器的I / 0容量，
有兩種解決系統增長的方法:垂直擴展和水平擴展，
- 垂直擴展意味著增加單個服務器的容量，例如使用更強大的CPU,添加更多RAM或增加存盤空間量，可用技術的局限性可能會限制單個機器對于給定作業負載而言足夠強大，此外,基于云的提供商基于可用的硬體配置具有硬性
上限，結果，垂直縮放有實際的最大值， - 水平擴展意味著劃分系統資料集并加載多個服務器,添加其他服務器以根據需要增加容量，雖然單個機器的總體速度或容量可能不高，但每臺機器處理整個作業負載的子集，可能提供比單個高速大容量服務器更高的效率，擴展部署容量只需要根據需要添加額外的服務器，這可能比單個機器的高端硬體的總體成本更低，權衡是基礎架構和部署維護的復雜性增加，
- MongoDB支持通過分片進行水平擴展，
三、分片集群包含的組件
MongoDB分片群集包含以下組件: .
●分片(存盤)shard:每個分片包含分片資料的子集， 每個分片都可以部署為副本集，
●mongos (路由) : mongos充當查詢路由器，在客戶端應用程式和分片集群之間提供介面，
●config servers (“調度"的配置) : 配置服務器存盤群集的元資料和配置設定，從MongoDB 3.4開始，必須將配置服務器部署為副本集(CSRS)，
下圖描述了分片集群中組件的互動:
四、部署 MongoDB 分片群集
1、環境準備
Vmware 虛擬機
centos7.6 192.168.110.132
mongodb3.2
2、拓撲圖如下
創建多實體的資料目錄和日志檔案；
修改ulimit -n 和ulimit -u 的值為25000；
3、環境搭建
tar zxvf mongodb-linux-x86_64-3.2.1.tgz -C /opt/
mv mongodb-linux-x86_64-3.2.1/ /usr/local/mongodb
mkdir -p /data/mongodb/mongodb{1,2,3,4}
mkdir /data/mongodb/logs
touch /data/mongodb/logs/mongodb{1,2,3,4}.log
chmod -R 777 /data/mongodb/logs/*.log
ulimit -n 25000 //臨時修改 重啟后失效 指定同一時間最多可打開的檔案數
ulimit -u 25000 //臨時修改 重啟后失效 用戶最多可啟動的行程數目，
創建軟連接：
ln -s /usr/local/mongodb/bin/mongo /usr/bin/mongo
ln -s /usr/local/mongodb/bin/mongod /usr/bin/mongod
4、config配置服務器
cd /usr/local/mongodb/bin/
port=37017 埠
dbpath=/data/mongodb/mongodb1 資料存盤位置
logpath=/data/mongodb/logs/mongodb1.log 日志存盤位置
logappend=true mongos或mongod會將新條目附加到現有日志檔案的末尾，
fork=true 啟用在后臺運行mongos或mongod行程的守護行程模式
maxConns=5000 最大連接數
storageEngine=mmapv1 引擎
configsvr=true 指定配置服務器
啟動：
mongod -f /usr/local/mongodb/bin/mongodb1.conf '啟動不起來 -f使用不了 改個環境變數'
mongo --port 27017 //查看埠是否正常開放
5、shard服務器
cp -p mongodb1.conf mongodb2.conf
vim mongodb2.conf
port=47017
dbpath=/data/mongodb/mongodb2
logpath=/data/mongodb/logs/mongodb2.log
logappend=true
fork=true
maxConns=5000
storageEngine=mmapv1
shardsvr=true
cp -p mongodb1.conf mongodb3.conf
vim mongodb3.conf
port=47018
dbpath=/data/mongodb/mongodb3
logpath=/data/mongodb/logs/mongodb3.log
logappend=true
fork=true
maxConns=5000
storageEngine=mmapv1
shardsvr=true
啟動：
mongod -f /usr/local/mongodb/bin/mongodb1.conf '啟動服務'
6、當某節點記憶體不足時，從其他節點分配記憶體
sysctl -w vm.zone_reclaim_mode=0
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag
7、啟動路由服務器
–port指定對方連接入口27017
–fork后臺運行
–logpath指定日志檔案存盤路徑
–configdb指定給誰處理
./mongos --port 27017 --fork --logpath=/usr/local/mongodb/bin/route.log --configdb 192.168.110.132:37017 --chunkSize 1
8、設定分片
mongos> sh.addShard("192.168.110.132:47018"); 添加分片服務器
{ "shardAdded" : "shard0000", "ok" : 1 }
mongos> sh.addShard("192.168.110.132:47017"); 添加分片服務器
{ "shardAdded" : "shard0001", "ok" : 1 }
mongos> sh.status() 再次查看分片的服務器
--- Sharding Status ---
sharding version: {
"_id" : 1,
"minCompatibleVersion" : 5,
"currentVersion" : 6,
"clusterId" : ObjectId("5f5b73644e296224377d5e65")
}
shards:
{ "_id" : "shard0000", "host" : "192.168.110.132:47018" }
{ "_id" : "shard0001", "host" : "192.168.110.132:47017" }
active mongoses:
"3.2.1" : 1
balancer:
Currently enabled: yes
Currently running: no
Failed balancer rounds in last 5 attempts: 0
Migration Results for the last 24 hours:
No recent migrations
databases:
9、加入shard節點
> use school
> for(var i=1;i<=10000;i++) db.users.insert({"id":i,"name":"tom"+i})
mongos> show dbs
mongos> use school
mongos> show collections //查看集合
mongos> db.users.find().limit(5) 查看前五行
mongos> sh.status() //查看資料庫分片資訊
'下面要開啟集合的分片；'
'先對users集合創建索引；'
'然后對集合的索引進行分片，'
mongos> use shang
mongos> db.users.createIndex({"id":1}) //對users表創建索引
mongos> sh.shardCollection("school.users",{"id":1}) //表分片給shard節點
mongos> sh.status()
--- Sharding Status ---
sharding version: {
"_id" : 1,
"minCompatibleVersion" : 5,
"currentVersion" : 6,
"clusterId" : ObjectId("5f5b73644e296224377d5e65")
}
shards:
{ "_id" : "shard0000", "host" : "192.168.110.132:47018" }
{ "_id" : "shard0001", "host" : "192.168.110.132:47017" }
active mongoses:
"3.2.1" : 1
balancer:
Currently enabled: yes
Currently running: no
Failed balancer rounds in last 5 attempts: 0
Migration Results for the last 24 hours:
1 : Success
databases:
{ "_id" : "school", "primary" : "shard0000", "partitioned" : true }
school.users
shard key: { "id" : 1 }
unique: false
balancing: true
chunks:
shard0000 2
shard0001 1
{ "id" : { "$minKey" : 1 } } -->> { "id" : 4682 } on : shard0001 Timestamp(2, 0)
{ "id" : 4682 } -->> { "id" : 9364 } on : shard0000 Timestamp(2, 1)
{ "id" : 9364 } -->> { "id" : { "$maxKey" : 1 } } on : shard0000 Timestamp(1, 2)
五、分片管理
1、添加資料，進行分片存盤
mongos> for(var i=1;i<=60000;i++) db.users2.insert({"id":i,"name":"tom"+i})
WriteResult({ "nInserted" : 1 })
mongos> db.users2.count()
60000
mongos> db.users2.createIndex({"id":1}) '添加索引'
{
"raw" : {
"192.168.110.132:47018" : {
"createdCollectionAutomatically" : false,
"numIndexesBefore" : 1,
"numIndexesAfter" : 2,
"ok" : 1
}
},
"ok" : 1
}
mongos>
mongos> sh.shardCollection("school.users2",{"id":1}) '添加分片存盤'
{ "collectionsharded" : "school.users2", "ok" : 1 }
mongos> db.users2.stats()
{
"sharded" : true,
"paddingFactorNote" : "paddingFactor is unused and unmaintained in 3.0. It remains hard coded to 1.0 for compatibility only.",
"userFlags" : 1,
"capped" : false,
"ns" : "school.users2",
"count" : 60000,
"numExtents" : 12,
"size" : 6720000,
"storageSize" : 22364160,
"totalIndexSize" : 3581088,
"indexSizes" : {
"_id_" : 1970416,
"id_1" : 1610672
},
"avgObjSize" : 112,
"nindexes" : 2,
"nchunks" : 13,
"shards" : {
"shard0000" : {
"ns" : "school.users2",
"count" : 31909,
"size" : 3573808,
"avgObjSize" : 112,
"numExtents" : 6,
"storageSize" : 11182080,
"lastExtentSize" : 8388608,
"paddingFactor" : 1,
"paddingFactorNote" : "paddingFactor is unused and unmaintained in 3.0. It remains hard coded to 1.0 for compatibility only.",
"userFlags" : 1,
"capped" : false,
"nindexes" : 2,
"totalIndexSize" : 1872304,
"indexSizes" : {
"_id_" : 1054704,
"id_1" : 817600
},
"ok" : 1
},
"shard0001" : {
"ns" : "school.users2",
"count" : 28091,
"size" : 3146192,
"avgObjSize" : 112,
"numExtents" : 6,
"storageSize" : 11182080,
"lastExtentSize" : 8388608,
"paddingFactor" : 1,
"paddingFactorNote" : "paddingFactor is unused and unmaintained in 3.0. It remains hard coded to 1.0 for compatibility only.",
"userFlags" : 1,
"capped" : false,
"nindexes" : 2,
"totalIndexSize" : 1708784,
"indexSizes" : {
"_id_" : 915712,
"id_1" : 793072
},
"ok" : 1
}
},
"ok" : 1
}
mongos>
2、添加標簽
mongos> sh.addShardTag("shard0000","sales00")
mongos> sh.addShardTag("shard0001","sales01")
3、連接config配置服務器：
mongo --port 37017
configsvr> use config //打開配置資料庫
configsvr> show collections //查看集合
configsvr> db.chunks.findOne() //記錄所有塊的資訊
configsvr> db.collections.find() //分片集合資訊
configsvr> db.databases.find() //分片中所有資料庫資訊
4、添加/洗掉分片服務器
[root@localhost bin]# cp -p mongodb3.conf mongodb4.conf
[root@localhost bin]# vim mongodb4.conf
port=47019
dbpath=/data/mongodb/mongodb4
logpath=/data/mongodb/logs/mongodb4.log
logappend=true
fork=true
maxConns=5000
storageEngine=mmapv1
shardsvr=true
[root@localhost bin]# ls /data/mongodb/
logs mongodb1 mongodb2 mongodb3 mongodb4
[root@localhost bin]# ls /data/mongodb/logs/
mongodb1.log mongodb2.log mongodb3.log mongodb4.log
mongod -f mongodb4.conf '啟動'
添加分片節點：
mongos> sh.addShard("192.168.110.132:47019") //添加分片服務器
mongos> sh.status() '查看分片資訊'
--- Sharding Status ---
sharding version: {
"_id" : 1,
"minCompatibleVersion" : 5,
"currentVersion" : 6,
"clusterId" : ObjectId("5f5b73644e296224377d5e65")
}
shards:
{ "_id" : "shard0000", "host" : "192.168.110.132:47018", "tags" : [ "sales00" ] }
{ "_id" : "shard0001", "host" : "192.168.110.132:47017", "tags" : [ "sales01" ] }
{ "_id" : "shard0002", "host" : "192.168.110.132:47019" }
洗掉分片節點：
mongos> use admin
mongos> db.runCommand({"removeshard":"192.168.110.132:47019"}) //洗掉節點
轉載請註明出處，本文鏈接：https://www.uj5u.com/qianduan/32933.html
標籤：其他