大家好,我是辣條,
目錄
Mongodb的的增刪改查
1. mongodb插入資料
2. mongodb的保存
3 mongodb的查詢
4 mongodb的更新
5 mongodb的洗掉
mongodb的聚合操作
1 mongodb的聚合是什么
2 mongodb的常用管道和運算式
3 管道命令之$group
4 管道命令之$match
5 管道命令之$project
6 管道命令之$sort
7 管道命令之$skip 和 $limit
1. 為什么mongdb需要創建索引
2. mongodb創建簡單的索引方法
3. 創建索引前后查詢速度對比
4. 索引的查看
5. 洗掉索引
6. mongodb創建唯一索引
7. 建立復合索引
8. 建立索引注意點
Mongodb的權限管理
1. 為什么要進行權限管理的設定
2. mongodb的權限管理方案
3. mongodb超級管理員賬號的創建
4. 創建普通用戶
5. 查看創建的用戶
6. 洗掉用戶
mongodb和python互動
1. mongdb和python互動的模塊
2. 使用pymongo
3. pymongo模塊其他api
Mongodb的的增刪改查
1. mongodb插入資料
命令:db.集合名稱.insert(document)
db.stu.insert({name:'gj', gender:1})
db.stu.insert({_id:"20170101", name:'gj', gender:1})
插檔案時,如果不指定_id引數,MongoDB會為檔案自動分配一個唯一的ObjectId
2. mongodb的保存
命令:db.集合名稱.save(document)
db.stu.save({_id:'20170101', name:'gj', gender:2})
db.stu.save({name:'gj', gender:2})
db.stu.find()
如果檔案的id已經存在則修改,如果id不存在則添加
3 mongodb的查詢
命令:db.集合名稱.find()
可以使用以下資料進行練習
db.stu.insert([{"name" : "郭靖", "hometown" : "蒙古", "age" : 20, "gender" : true },
{"name" : "黃蓉", "hometown" : "桃花島", "age" : 18, "gender" : false },
{"name" : "華箏", "hometown" : "蒙古", "age" : 18, "gender" : false },
{"name" : "黃藥師", "hometown" : "桃花島", "age" : 40, "gender" : true },
{"name" : "段譽", "hometown" : "大理", "age" : 16, "gender" : true },
{"name" : "段王爺", "hometown" : "大理", "age" : 45, "gender" : true },
{"name" : "洪七公", "hometown" : "華箏", "age" : 18, "gender" : true }])
3.1 簡單查詢
-
方法find(): 查詢
db.集合名稱.find({條件檔案}) -
方法findOne():查詢,只回傳第一個
db.集合名稱.findOne({條件檔案}) -
方法pretty(): 將結果格式化;不能和findOne()一起使用!
db.集合名稱.find({條件檔案}).pretty()
3.2 比較運算子
-
等于: 默認是等于判斷, 沒有運算子
-
小于:
$lt (less than) -
小于等于:
$lte (less than equal) -
大于:
$gt (greater than) -
大于等于:
$gte -
不等于:
$ne
查詢年齡大于18的所有學生
db.stu.find({age:{$gte:18}})
3.3 邏輯運算子
邏輯運算子主要指與、或邏輯
-
and:在json中寫多個條件即可
查詢年齡大于或等于18, 并且性別為true的學生
db.stu.find({age:{$gte:18},gender:true})
-
or:使用$or, 值為陣列, 陣列中每個元素為json
查詢年齡大于18, 或性別為false的學生
db.stu.find({$or:[{age:{$gt:18}},{gender:false}]})
?
查詢年齡大于18或性別為男生, 并且姓名是郭靖
db.stu.find({$or:[{age:{$gte:18}},{gender:true}],name:'gj'})
3.4 范圍運算子
使用$in, $nin 判斷資料是否在某個陣列內
查詢年齡為18、 28的學生
db.stu.find({age:{$in:[18,28,38]}})
3.5 支持正則運算式
使用$regex撰寫正則運算式
查詢name以'黃'開頭的資料
db.stu.find({name:{$regex:'^黃'}})
3.6 自定義查詢
mongo shell 是一個js的執行環境 使用$where 寫一個函式, 回傳滿足條件的資料
查詢年齡大于30的學生
db.stu.find({
$where:function() {
return this.age>30;}
})
3.7 skip和limit
-
方法limit(): 用于讀取指定數量的檔案
db.集合名稱.find().limit(NUMBER) 查詢2條學生資訊 db.stu.find().limit(2)
-
方法skip(): 用于跳過指定數量的?檔
db.集合名稱.find().skip(NUMBER) db.stu.find().skip(2)
-
同時使用
db.stu.find().limit(4).skip(5) db.stu.find().skip(5).limit(4)
注意:先使用skip在使用limit的效率要高于前者
3.8 投影
在查詢到的回傳結果中, 只選擇必要的欄位
命令:db.集合名稱.find({},{欄位名稱:1,...})
引數為欄位與值, 值為1表示顯示, 值為0不顯 特別注意:
-
對于_id列默認是顯示的, 如果不顯示需要明確設定為0
-
對于其他不顯示的欄位不能設定為0
db.stu.find({},{_id:0,name:1,gender:1})
3.9 排序
方法sort(), 用于對查詢結果按照指定的欄位進行排序
命令:db.集合名稱.find().sort({欄位:1,...})
引數1為升序排列 引數-1為降序排列
根據性別降序, 再根據年齡升序
db.stu.find().sort({gender:-1,age:1})
3.10 統計個數
方法count()用于統計結果集中檔案條數
命令:db.集合名稱.find({條件}).count() 命令:db.集合名稱.count({條件})
db.stu.find({gender:true}).count()
db.stu.count({age:{$gt:20},gender:true})
4 mongodb的更新
db.集合名稱.update({query}, {update}, {multi: boolean})
-
引數query:查詢條件
-
引數update:更新運算子
-
引數multi:可選,默認是false,表示只更新找到的第一條資料,值為true表示把滿足條件的資料全部更新
db.stu.update({name:'hr'},{name:'mnc'}) # 全檔案進行覆寫更新
db.stu.update({name:'hr'},{$set:{name:'hys'}}) # 指定鍵值更新操作
db.stu.update({},{$set:{gender:0}},{multi:true}) # 更新全部
注意:"multi update only works with $ operators"
-
multi引數必須和$set一起使用!
5 mongodb的洗掉
db.集合名稱.remove({query}, {justOne: boolean})
- 引數query:可選,洗掉的?檔的條件 - 引數justOne:可選, 如果設為true或1,則只洗掉一條,默認false,表示洗掉全部
mongodb的聚合操作
1 mongodb的聚合是什么
聚合(aggregate)是基于資料處理的聚合管道,每個檔案通過一個由多個階段(stage)組成的管道,可以對每個階段的管道進行分組、過濾等功能,然后經過一系列的處理,輸出相應的結果,
語法:db.集合名稱.aggregate({管道:{運算式}})
2 mongodb的常用管道和運算式
知識點:
-
掌握mongodb中管道的語法
-
掌握mongodb中管道命令
2.1 常用管道命令
在mongodb中,?檔處理完畢后, 通過管道進?下?次處理 常用管道命令如下:
-
$group: 將集合中的?檔分組, 可?于統計結果 -
$match: 過濾資料, 只輸出符合條件的?檔 -
$project: 修改輸??檔的結構, 如重命名、 增加、 洗掉欄位、 創建計算結果 -
$sort: 將輸??檔排序后輸出 -
$limit: 限制聚合管道回傳的?檔數 -
$skip: 跳過指定數量的?檔, 并回傳余下的?檔
2.2 常用運算式
運算式:處理輸??檔并輸出 語法:運算式:'$列名' 常?運算式:
-
$sum: 計算總和, $sum:1 表示以?倍計數 -
$avg: 計算平均值 -
$min: 獲取最?值 -
$max: 獲取最?值 -
$push: 在結果?檔中插?值到?個陣列中
3 管道命令之$group
3.1 按照某個欄位進行分組
$group是所有聚合命令中用的最多的一個命令,用來將集合中的檔案分組,可用于統計結果
使用示例如下
db.stu.aggregate(
{$group:
{
_id:"$gender",
counter:{$sum:1}
}
}
)
其中注意點:
-
db.db_name.aggregate是語法,所有的管道命令都需要寫在其中 -
_id表示分組的依據,按照哪個欄位進行分組,需要使用$gender表示選擇這個欄位進行分組 -
$sum:1表示把每條資料作為1進行統計,統計的是該分組下面資料的條數
3.2 group by null
當我們需要統計整個檔案的時候,$group 的另一種用途就是把整個檔案分為一組進行統計
使用實體如下:
db.stu.aggregate(
{$group:
{
_id:null,
counter:{$sum:1}
}
}
)
其中注意點:
-
_id:null表示不指定分組的欄位,即統計整個檔案,此時獲取的counter表示整個檔案的個數
3.3 資料透視
正常情況在統計的不同性別的資料的時候,需要知道所有的name,需要逐條觀察,如果通過某種方式把所有的name放到一起,那么此時就可以理解為資料透視
使用示例如下:
-
統計不同性別的學生
db.stu.aggregate( {$group: { _id:null, name:{$push:"$name"} } } ) -
使用
$$ROOT可以將整個檔案放入陣列中db.stu.aggregate( {$group: { _id:null, name:{$push:"$$ROOT"} } } )
3.4 動手
對于如下資料,需要統計出每個country/province下的userid的數量(同一個userid只統計一次)
{ "country" : "china", "province" : "sh", "userid" : "a" }
{ "country" : "china", "province" : "sh", "userid" : "b" }
{ "country" : "china", "province" : "sh", "userid" : "a" }
{ "country" : "china", "province" : "sh", "userid" : "c" }
{ "country" : "china", "province" : "bj", "userid" : "da" }
{ "country" : "china", "province" : "bj", "userid" : "fa" }
參考答案
db.tv3.aggregate(
{$group:{_id:{country:'$country',province:'$province',userid:'$userid'}}},
{$group:{_id:{country:'$_id.country',province:'$_id.province'},count:{$sum:1}}}
?
4 管道命令之$match
$match用于進行資料的過濾,是在能夠在聚合操作中使用的命令,和find區別在于$match 操作可以把結果交給下一個管道處理,而find不行
5 管道命令之$project
$project用于修改檔案的輸入輸出結構,例如重命名,增加,洗掉欄位
6 管道命令之$sort
$sort用于將輸入的檔案排序后輸出
7 管道命令之$skip 和 $limit
-
$limit限制回傳資料的條數 -
$skip跳過指定的檔案數,并回傳剩下的檔案數 -
同時使用時先使用skip在使用limit
1. 為什么mongdb需要創建索引
-
加快查詢速度
-
進行資料的去重
2. mongodb創建簡單的索引方法
-
語法:
db.集合名.ensureIndex({屬性:1}),1表示升序, -1表示降序
3. 創建索引前后查詢速度對比
測驗:插入10萬條資料到資料庫中
插入資料:
for(i=0;i<100000;i++){db.t1.insert({name:'test'+i,age:i})}
創建索引前:
db.t1.find({name:'test10000'})
db.t1.find({name:'test10000'}).explain('executionStats') # 顯示查詢操作的詳細資訊
創建索引:
db.t1.ensureIndex({name:1})
創建索引后:
db.t1.find({name:'test10000'}).explain('executionStats')
前后速度對比
4. 索引的查看
默認情況下_id是集合的索引 查看方式:db.集合名.getIndexes()
5. 洗掉索引
語法:db.集合名.dropIndex({'索引名稱':1})
db.t1.dropIndex({name:1})
db.t1.getIndexes()
6. mongodb創建唯一索引
在默認情況下mongdb的索引域的值是可以相同的,創建唯一索引之后,資料庫會在插入資料的時候檢查創建索引域的值是否存在,如果存在則不會插入該條資料,但是創建索引僅僅能夠提高查詢速度,同時降低資料庫的插入速度,
6.1 添加唯一索引的語法:
db.集合名.ensureIndex({"欄位名":1}, {"unique":true})
6.2 利用唯一索引進行資料去重
根據唯一索引指定的欄位的值,如果相同,則無法插入資料
db.t1.ensureIndex({"name":1}, {"unique":true})
db.t1.insert({name: 'test10000'})
7. 建立復合索引
在進行資料去重的時候,可能用一個域來保證資料的唯一性,這個時候可以考慮建立復合索引來實作,
例如:抓全貼吧資訊,如果把帖子的名字作為唯一索引對資料進行去重是不可取的,因為可能有很多帖子名字相同
建立復合索引的語法:db.collection_name.ensureIndex({欄位1:1,欄位2:1})
8. 建立索引注意點
-
根據需要選擇是否需要建立唯一索引
-
索引欄位是升序還是降序在單個索引的情況下不影響查詢效率,但是帶復合索引的條件下會有影響
-
資料量巨大并且資料庫的讀出操作非常頻繁的時候才需要創建索引,如果寫入操作非常頻繁,創建索引會影響寫入速度
例如:在進行查詢的時候如果欄位1需要升序的方式排序輸出,欄位2需要降序的方式排序輸出,那么此時復合索引的建立需要把欄位1設定為1,欄位2設定為-1
Mongodb的權限管理
1. 為什么要進行權限管理的設定
剛安裝完畢的mongodb默認不使用權限認證方式啟動,與MySQL不同,mongodb在安裝的時候并沒有設定權限,然而公網運行系統需要設定權限以保證資料安全,所以我們要學習mongodb的權限管理
2. mongodb的權限管理方案
-
MongoDB是沒有默認管理員賬號,所以要先添加管理員賬號,并且mongodb服務器需要在運行的時候開啟驗證模式
-
用戶只能在用戶所在資料庫登錄(創建用戶的資料庫),包括管理員賬號,
-
管理員可以管理所有資料庫,但是不能直接管理其他資料庫,要先認證后才可以,
-
3. mongodb超級管理員賬號的創建
3.1 創建超級用戶
進入mongo shell
sudo mongod
使用admin資料庫(超級管理員賬號必須創建在該資料庫上)
use admin
創建超級用戶
db.createUser({"user":"python","pwd":"python","roles":["root"]})
創建成功會顯示如下資訊
Successfully added user: { "user" : "python", "roles" : [ "root" ] }
退出mongo shell
exit
3.2 以權限認證的方式啟動mongodb資料庫
sudo mongod --auth
啟動之后在啟動資訊中會有如下資訊,說明mongodb以權限認證的方式啟動成功
[initandlisten] options: { security: { authorization: "enabled" } }
3.3 登錄驗證
此時再使用資料庫各命令的時候會報權限錯誤,需要認證才能執行相應操作、
use admin
db.auth('python','python')
-
python用戶是創建在admin資料庫上的所以必須來到admin資料庫上進行認證
-
認證成功會回傳1,失敗回傳0
4. 創建普通用戶
4.1 在使用的資料庫上創建普通用戶
1.選擇需要創建用戶的資料庫
use test1
-
創建用戶
db.createUser("user":"user1", "pwd":"pwd1", roles:["read"])
創建普通用戶user1,該用戶在test1上的權限是只讀
db.createUser("user":"user1", "pwd":"pwd1", roles:["readWrite"])
創建普通用戶user1,該用戶在test1上的權限是讀寫
4.2 在admin用戶資料庫上創建普通用戶
use admin
db.createUser({"user":"python1", "pwd":"python1", roles:[{"role":"read","db":"dbname1"},{"role":"readWrite","db":"dbname2"}
]})
在admin上創建python1用戶,python1用戶的權限有兩個,一個再dbname1上的只讀,另一個是在dbname2上的讀寫
5. 查看創建的用戶
show users
{
"_id" : "admin.python",
"user" : "python",
"db" : "admin",
"roles" : [
{
"role" : "root",
"db" : "admin"
}
]
}
6. 洗掉用戶
6.1 進入賬號資料所在的資料庫
use db_name
6.2 洗掉用戶
db.dropUser('python')
mongodb和python互動
1. mongdb和python互動的模塊
pymongo 提供了mongdb和python互動的所有方法 安裝方式: pip install pymongo
2. 使用pymongo
2.1 匯入pymongo并選擇要操作的集合
資料庫和集合能夠自動創建
2.1.1 無需權限認證的方式創建連接物件以及集合操作物件
from pymongo import MongoClient ? client = MongoClient(host,port) # 如果是本地連接host,port引數可以省略 ? collection = client[db名][集合名] # collection = client.db名.集合名 # 與上邊用法相同
2.1.2 需要權限認證的方式創建連接物件以及集合操作物件
from pymongo import MongoClient
from urllib.parse import quote_plus
?
user = 'python' # 賬號
password = 'python' # 密碼
host = '127.0.0.1' # host
port = 27017 # port
uri = "mongodb://%s:%s@%s" % (quote_plus(user),
quote_plus(password),
host)
# quote_plus函式:對url進行編碼
# uri = mongodb://python:python@127.0.0.1
client = MongoClient(uri, port=port)
collection = client.db名.集合名
2.2 insert()添加資料
insert可以批量的插入資料串列,也可以插入一條資料
collection.insert({一條資料})
collection.insert([{資料一},{資料二}])
2.2.1 添加一條資料
回傳插入資料的_id
ret = collection.insert({"name":"test10010","age":33})
print(ret)
2.2.2 添加多條資料
回傳ObjectId物件構成的串列
item_list = [{"name":"test1000{}".format(i)} for i in range(10)]
rets = collection.insert(item_list)
print(rets)
for ret in rets:
print(ret)
2.3 find_one()查找一條資料
接收一個字典形式的條件,回傳字典形式的整條資料 如果條件為空,則回傳第一條
ret = client.test.test.find_one({'name': 'test10001'})
print(ret) # 包含mongodb的ObjectId物件的字典
_ = ret.pop('_id') # 清除mongodb的ObjectId物件的k,v
print(ret)
2.4 find()查找全部資料
回傳所有滿足條件的結果,如果條件為空,則回傳全部 結果是一個Cursor游標物件,是一個可迭代物件,可以類似讀檔案的指標,但是只能夠進行一次讀取
rets = collection.find({"name":"test10005"}),
for ret in rets:
print(ret)
for ret in rets: #此時rets中沒有內容
print(ret)
2.5 update()更新資料(全檔案覆寫或指定鍵值,更新一潭訓多條)
-
語法:collection.update({條件}, {'$set':{指定的kv或完整的一條資料}}, multi=False/True, upsert=False/True)
-
multi引數:默認為False,表示更新一條; multi=True則更新多條; multi引數必須和$set一起使用
-
upsert引數:默認為False; upsert=True則先查詢是否存在,存在則更新;不存在就插入
-
$set表示指定欄位進行更新
2.5.1 更新一條資料;全檔案覆寫;存在就更新,不存在就插入
data = {'msg':'這是一條完整的資料1','name':'哈哈'}
client.test.test.update({'haha': 'heihei'}, {'$set':data}, upsert=True)
2.5.2 更新多條資料;全檔案覆寫;存在就更新,不存在就插入
data = {'msg':'這是一條完整的資料2','name':'哈哈'} # 該完整資料是先查詢后獲取的
client.test.test.update({}, {'$set':data}, multi=True, upsert=True)
2.5.3 更新一條資料;指定鍵值;存在就更新,不存在就插入
data = {'msg':'指定只更新msg___1'}
client.test.test.update({}, {'$set':data}, upsert=True)
2.5.4 更新多條資料;指定鍵值;存在就更新,不存在就插入
data = {'msg':'指定只更新msg___2'}
client.test.test.update({}, {'$set':data}, multi=True, upsert=True)
2.6 delete_one()洗掉一條資料
collection.delete_one({"name":"test10010"})
2.7 delete_many()洗掉全部資料
collection.delete_many({"name":"test10010"})
3. pymongo模塊其他api
查看pymongo官方檔案或源代碼 http://api.mongodb.com/python/current/

關注我持續為您分享干貨內容,你的收藏、評論、點贊就是對我最大的支持!
轉載請註明出處,本文鏈接:https://www.uj5u.com/houduan/291047.html
標籤:python
