使用PyMongo查詢MongoDB資料庫！

作者|LAKSHAY ARORA
編譯|Flin
來源|analyticsvidhya

介紹

隨著互聯網的普及，我們現在正以前所未有的速度生成資料，因為執行任何型別的分析都需要我們從資料庫中收集/查詢必要的資料，所以選擇正確的工具來查詢資料變得至關重要，因此，我們無法想象使用SQL來處理如此大量的資料，因為每個查詢的成本都很高，

這正是MongoDB的用武之地，MongoDB是一個非結構化資料庫，以檔案形式存盤資料，此外，MongoDB能夠非常高效地處理大量資料，并且是使用最廣泛的NoSQL資料庫，因為它提供了豐富的查詢語言以及對資料的靈活而快速的訪問，

在本文中，我們將看到有關如何使用PyMongo查詢MongoDB資料庫的多個示例，此外，我們將看到如何使用比較運算子和邏輯運算子，正則運算式以及聚合管道的基礎知識，

本文是MongoDB初學者教程（https://www.analyticsvidhya.com/blog/2020/02/mongodb-in-python-tutorial-for-beginners-using-pymongo） 的延續，其中我們討論了非結構化資料庫，安裝步驟和MongoDB基本操作的挑戰，因此，如果你是MongoDB的初學者，我建議你先閱讀該文章，

目錄

1. 什么是PyMongo？

2. 安裝步驟

3. 將資料插入資料庫

4. 查詢資料庫

   1. 根據欄位過濾
   2. 根據比較運算子進行過濾
   3. 基于邏輯運算子的過濾
   4. 常用表達
   5. 聚合管道

5. 尾注

什么是PyMongo？

PyMongo是一個Python庫，使我們能夠與MongoDB連接，此外，這是MongoDB和Python一起使用的最推薦的方法，

另外，我們選擇Python與MongoDB進行互動，因為它是資料科學中最常用且功能最強大的語言之一，PyMongo允許我們使用類似于字典的語法來檢索資料，

如果你是Python的初學者，我建議你參加此免費課程：Python入門，

• https://courses.analyticsvidhya.com/courses/introduction-to-data-science

安裝步驟

安裝PyMongo非常簡單明了，在這里，我假設你已經安裝了Python 3和MongoDB，以下命令將幫助你安裝PyMongo：

pip3 install pymongo

將資料插入資料庫

現在讓我們進行設定，然后再使用PyMongo查詢MongoDB資料庫，首先，我們將資料插入資料庫，以下步驟將為你提供幫助

1. 匯入庫并連接到mongo客戶端

在計算機上啟動MongoDB服務器，我假設它正在localhost:27017運行檔案，

讓我們開始匯入一些我們將要使用的庫，默認情況下，MongoDB服務器在本地計算機上的埠27017上運行，然后，我們將使用pymongo庫連接到MongoDB客戶端，

然后獲取資料庫sample_db的資料庫實體，萬一它不存在，MongoDB將為你創建一個，

# 匯入所需的庫
import pymongo
import pprint
import json
import warnings
warnings.filterwarnings('ignore')

# 連接到mongoclient
client = pymongo.MongoClient('mongodb://localhost:27017')

# 獲取資料庫
database = client['sample_db']

2. 從JSON檔案創建集合

我們將使用在多個城市運營的一家送餐公司的資料，此外，他們在這些城??市設有各種配送中心，用于向其顧客發送餐單，你可以在此處下載資料和代碼，

• https://drive.google.com/drive/folders/1XqnNv5msuluuX5JV50sGYC0Uvwa7w2C2?usp=sharing

1. weekly_demand：

   • id：每個檔案的唯一ID
   • week：周號
   • center_id：配送中心的唯一ID
   • meal_id：餐的唯一ID
   • checkout_price：最終價格，包括折扣，稅金和送貨費
   • base_price：餐的基本價格
   • emailer_for_promotion：發送電子郵件以促進進餐
   • homepage_featured：首頁提供的餐點
   • num_orders：（目標）訂單數

2. meal_info：

   • meal_id：餐的唯一ID
   • category：餐食型別（飲料/小吃/湯……）
   • cuisine：美食（印度/意大利/…）

然后，我們將在sample_db資料庫中創建兩個集合：

# 創建每周需求收集
database.create_collection("weekly_demand")

# 創建餐食資訊
database.create_collection("meal_info")

3. 將資料插入集合

現在，我們擁有的資料為JSON格式，然后，我們將獲得集合的實體，讀取資料檔案，并使用insert_many函式插入資料，

# 獲取collection weekly_demand
weekly_demand_collection = database.get_collection("weekly_demand")

# 打開weekly_demand json檔案
with open("weekly_demand.json") as f:
    file_data = https://www.cnblogs.com/panchuangai/archive/2020/10/16/json.load(f)
# 將資料插入集合
weekly_demand_collection.insert_many(file_data)

# 獲取總資料點數    
weekly_demand_collection.find().count()
# >> 456548

# 獲取收藏餐 
meal_info_collection = database.get_collection("meal_info")

# 打開meat_info json檔案
with open("meal_info.json") as f:
    file_data = https://www.cnblogs.com/panchuangai/archive/2020/10/16/json.load(f)
    
# 將資料插入集合
meal_info_collection.insert_many(file_data)

# 獲取總資料點數
meal_info_collection.find().count()
# >> 51

最后，在weekly_demand_collection中有456548個檔案，在餐資訊集合中有51個檔案，現在，讓我們看一下每個集合中的一個檔案，

weekly_demand_collection

weekly_demand_collection.find_one()

膳食資訊集

meal_info_collection.find_one()

現在，我們的資料已準備就緒，讓我們繼續查詢該資料庫，

查詢資料庫

我們可以使用帶有查找功能的PyMonfo查詢MongoDB資料庫，以獲取滿足給定條件的所有結果，還可以使用find_one函式，該函式將僅回傳滿足條件的一個結果，

以下是find和find_one的語法：

your_collection.find( {<< query >>} , { << fields>>} )

你可以使用以下過濾技術查詢資料庫

1. 根據欄位過濾

例如，你有數百個欄位，而你只想看到其中的幾個，你可以通過將所有必填欄位名稱都設定為值1來實作此目的，例如，

weekly_demand_collection.find_one( {}, { "week": 1, "checkout_price" : 1})

另一方面，如果只想從整個檔案中丟棄一些欄位，則可以將欄位名稱設定為等于0，因此，將僅排除那些欄位，請注意，你不能使用1和0的組合來獲取欄位，要么全部為一，要么全部為零，

weekly_demand_collection.find_one( {}, {"num_orders" : 0, "meal_id" : 0})

2. 過濾條件

現在，在本節中，我們將在第一個大括號中提供一個條件，并在第二個中洗掉該欄位，因此，它將回傳center_id等于55且meal_id等于1885的第一個檔案，并且還將丟棄欄位_id和week，

weekly_demand_collection.find_one( {"center_id" : 55, "meal_id" : 1885}, {"_id" : 0, "week" : 0} )

3. 根據比較運算子進行過濾

以下是MongoDB中的9個比較運算子，

以下是使用這些比較運算子的一些示例

1. 等于和不等于

我們將找到center_id等于55且homepage_featured不等于0的所有檔案，由于我們將使用find函式，因此它將回傳該命令的游標，此外，使用for回圈遍歷查詢結果，

result_1 = weekly_demand_collection.find({
    "center_id" : { "$eq" : 55},
    "homepage_featured" : { "$ne" : 0}
})

for i in result_1:
    print(i)

2. 在串列中和不在串列中

例如，你需要將一個元素與多個元素匹配，在這種情況下，我們可以使用$ in 運算子，而不是多次使用 $eq運算子，我們將嘗試找出center_id為24或11的所有檔案，

result_2 = weekly_demand_collection.find({
    "center_id" : { "$in" : [ 24, 11] }
})

for i in result_2:
    print(i)

然后，我們找到所有在指定串列中不存在center_id的檔案，以下查詢將回傳center_id不是24也不是11的所有檔案，

result_3 = weekly_demand_collection.find({
    "center_id" : { "$nin" : [ 24, 11] }
})

for i in result_3:
    print(i)

3. 小于和大于

現在，讓我們查找center_id為55并且checkout_price大于100且小于200的所有檔案，為此，請使用以下語法

result_4 = weekly_demand_collection.find({
    "center_id" : 55,
    "checkout_price" : { "$lt" : 200, "$gt" : 100}
})

for i in result_4:
    print(i)

4. 基于邏輯運算子的過濾器

以下示例說明了邏輯運算子的用法-

1. AND運算子

下面的查詢將回傳center_id等于11，餐號不等于1778的檔案，AND運算子的子查詢將出現在串列中，

result_5 = weekly_demand_collection.find({
    "$and" : [{
                 "center_id" : { "$eq" : 11}
              },
              {
                   "meal_id" : { "$ne" : 1778}
              }]
})

for i in result_5:
    print(i)

2. 或運算子
   以下查詢將回傳center_id等于11或餐ID為1207或2707的所有檔案，此外，or運算子的子查詢將位于串列內，

result_6 = weekly_demand_collection.find({
    "$or" : [{
                 "center_id" : { "$eq" : 11}
              },
              {
                   "meal_id" : { "$in" : [1207, 2707]}
              }]
})

for i in result_6:
    print(i)

5. 用正則運算式過濾

當你有文本欄位并且要搜索具有特定模式的檔案時，正則運算式非常有用，如果你想了解有關正則運算式的更多資訊，我強烈建議你閱讀本文：Python正則運算式初學者教程，

• https://www.analyticsvidhya.com/blog/2015/06/regular-expression-python

它可以與運算子 $regex 一起使用，并且我們可以為運算子提供值，使regex模式變為matc，我們將在該查詢中使用餐資訊集，然后找到在美食欄位中以C開頭的檔案，

result_7 = meal_info_collection.find({
    "cuisine" : { "$regex" : "^C" }
})

for i in result_7:
    print(i)

讓我們再來看一個正則運算式的例子，我們將查找所有類別以“ S”開頭且以“ ian ” 結尾的所有檔案，

result_8 = meal_info_collection.find({
    "$and" : [
        { 
            "category" : {
            "$regex" : "^S"
        }},
        {
            "cuisine" : {
                "$regex" : "ian$"
        }}
    ]
})

for i in result_8:
    print(i)

6. 聚合管道

MongoDB的聚合管道提供了一個框架，可以對資料集執行一系列資料轉換，以下是其語法：

your_collection.aggregate( [ { <stage1> }, { <stage2> },.. ] )

第一個階段將完整的檔案集作為輸入，然后每個隨后的階段都將上一個轉換的結果集作為下一個階段的輸入并產生輸出，

MongoDB匯總中大約有10種轉換可用，在本文中我們將看到$ match和$ group，我們將在即將發表的MongoDB文章中詳細討論每個轉換，

例如，在第一階段，我們將匹配center_id等于11的檔案，在下一階段，它將對center_id等于11的檔案數量進行計數，請注意，我們已經為$count運算子分配了一個值，該值等于第二階段中的total_rows，這是我們希望在輸出中顯示的欄位的名稱，

result_9 = weekly_demand_collection.aggregate([
    ## stage 1
    {
        "$match" : 
                 {"center_id" : {"$eq" : 11 } }
    },
    ## stage 2
    {
        "$count" : "total_rows"
    }
])

for i in result_9:
    print(i)

現在，讓我們再舉一個例子，第一個階段與之前相同，即center_id等于11，在第二個階段中，我們要計算center_id 11的欄位num_orders的平均值和center_id 11的唯一meal_ids，

result_10 = weekly_demand_collection.aggregate([
    ## stage 1
    {
        "$match" : 
                 {"center_id" : {"$eq" : 11 } }
    },
    ## stage 2
    {
        "$group" : { "_id" : 0 ,
                     "average_num_orders": { "$avg" : "$num_orders"},
                     "unique_meal_id" : {"$addToSet" : "$meal_id"}} 
    }
])

for i in result_10:
    print(i)

尾注

如今, 資料量之大令人難以置信，因此有必要找到更好的替代方法來查詢資料，總而言之，在本文中，我們學習了如何使用PyMongo查詢MongoDB資料庫，此外，我們了解了如何根據所需情況應用各種過濾器，

如果你想了解有關查詢資料的更多資訊，我建議你學習以下課程 —— 資料科學的結構化查詢語言（SQL）

• https://courses.analyticsvidhya.com/courses/structured-query-language-sql-for-data-science

在接下來的文章中，我們將詳細討論聚合管道，

感謝閱讀！

原文鏈接：https://www.analyticsvidhya.com/blog/2020/08/query-a-mongodb-database-using-pymongo/

歡迎關注磐創AI博客站：
http://panchuang.net/

sklearn機器學習中文官方檔案：
http://sklearn123.com/

歡迎關注磐創博客資源匯總站：
http://docs.panchuang.net/

標籤：其他

上一篇：Pandas的crosstab函式

下一篇：使用OpenCV和Tensorflow跟蹤排球的軌跡