表單生成器(Form Builder)之mongodb表單資料——整理資料

　　在上篇筆記中，為車輛資訊表、車輛耗損表以及車輛營收表插入了一些資料，之后便是查詢了，重點也在查詢……按照之前定好的資料結構，如果查詢mongodb document的最外層比較簡單，但是我們的重點應該是FormItems表單項集合中的表單項，對他們進行查詢、統計等，針對插入的資料，我寫了一個查詢：查詢車輛資訊表中主鍵ID為1的車輛的所有耗損記錄，分析一下，因為所有的表（上面的三張表都放在FormInstace表中）都在一個真實的表中，所以我們首先要確定FormId，之后是怎么確定是哪輛車，車輛耗損表中有一個欄位冗余著車輛資訊（不清楚的可以翻一下前面的筆記），那么查詢陳述句就出來了：

db.getCollection('FormInstace').find({FormId:'507048044944692000','FormItems':{$elemMatch:{'key':'1572493552001','value.id':"1"}}})

　　這個查詢挺簡單的，確定了表之后就是一個等值查詢，但是現在卻因為我們的資料存盤結構用到了mongodb中的$elemMatch，這還是最簡單的查詢，之后要是有復雜的查詢統計更是不敢想象（事實上也確實如此：現在的專案中對表單中的欄位進行查詢統計非常困難）……那么我們能不能將FormItems表單項集合中的欄位拿到document的最外層，和之前的關系型資料一樣，如下圖：

　　答案是可以，mongodb有很多聚合管道，使用不同的組合可以幫我們實作上述效果，由于mongodb的版本不同以及陳述句的復雜程度，寫了好幾版本，下面一一列出，

　　第一版

//    第一版：受限于下面的幾個聚合管道，可以在3.4.4及以上使用//        $addFields         New in version 3.4.//        $arrayToObject     New in version 3.4.4.//        $replaceRoot     New in version 3.4.db.getCollection('FormInstace').aggregate([    {        $match: {            "FormItems.key": { $ne: null }        }    },    {        $addFields: {            FormValueObj: {                $arrayToObject: {                    $map: {                        input: "$FormItems",                        as: "field",                        in: [ "$$field.key", "$$field.value" ]                    }                }            }        }    },    {        $addFields: {            "FormValueObj._id": "$_id",            "FormValueObj.ExtendData":"$ExtendData",            "FormValueObj.CreateUserId": "$CreateUserId",            "FormValueObj.CreateUserName": "$CreateUserName",            "FormValueObj.CreateDate":"$CreateDate",            "FormValueObj.LastModifyDate":"$LastModifyDate",            "FormValueObj.FormId": "$FormId",            "FormValueObj.FormVersion":"$FormVersion"        }    },    {        $replaceRoot: {            newRoot: "$FormValueObj"        }    }]);

　　看一下執行結果（用的是Robo 3T 1.2.1）

　　看到這樣的執行結果還是很滿意的，這不正是我們想要的嘛！但是當我調整上圖中的數值時（修改為500），卻報錯了(⊙o⊙)…

　　我去這是什么情況，我都懷疑我的陳述句寫的有問題了，可是為什么第一次沒問題-_-||，我在另一臺電腦中測驗時（操作方式相同，只是版本不同，版本是1.3），還出現過“Cannot convert to an aggregation if ntoreturn is set”這樣的錯誤，網上查到了這篇文章https://github.com/Studio3T/robomongo/issues/1529 （這里只是記錄一下，有時間再看吧），我還有另一個GUI，便試了一下：

　　至此我覺得陳述句應該沒問題，最后的資料列是合并了所有表（邏輯上）中的所有欄位和公共欄位，

　　第二版

//    第二版：受限于下面的幾個聚合管道，可以在3.4.4及以上使用//        $addFields         New in version 3.4.//        $arrayToObject     New in version 3.4.4.//        $objectToArray     New in version 3.4.4.//        $concatArrays    New in version 3.2.//        $replaceRoot     New in version 3.4.db.getCollection('FormInstace').aggregate([    {        $match: {            "FormItems.key": { $ne: null }        }    },    {        $addFields: {            TempFormValueObj: {                $arrayToObject: {                    $map: {                        input: "$FormItems",                        as: "field",                        in: [ "$$field.key", "$$field.value" ]                    }                }            }        }    },    {        $addFields: {            TempFormValues: {                 $objectToArray : "$TempFormValueObj"            }        }    },    {        $addFields:{            FormValueObj:{                $arrayToObject:{                    $map:{                        input:{                            $concatArrays: [ "$TempFormValues", {$objectToArray : "$$ROOT"} ]                         },                        as: "kv",                        in: ["$$kv.k","$$kv.v"]                    }                }            }        }    },    {        $replaceRoot: {            newRoot: "$FormValueObj"        }    },    {        $project: {            FormItems:0,            TempFormValueObj:0,            TempFormValues:0        }    }]);

　　在上一版中手動拼接了所有的公共欄位，不是特別方便，這一版本中去掉了

　　第三版

//    第三版：受限于下面的幾個聚合管道，可以在3.6及以上使用//        $addFields         New in version 3.4.//        $arrayToObject     New in version 3.4.4.//        $replaceRoot     New in version 3.4.//        $mergeObjects     New in version 3.6.db.getCollection('FormInstace').aggregate([    {        $match: {            "FormItems.key": { $ne: null }        }    },    {        $addFields: {            FormValueObj: {                $arrayToObject: {                    $map: {                        input: "$FormItems",                        as: "field",                        in: [ "$$field.key", "$$field.value" ]                    }                }            }        }    },    {      $replaceRoot: { newRoot: { $mergeObjects: [ "$FormValueObj", "$$ROOT" ] } }    },    {        $project: {            FormItems:0,            FormValueObj:0        }    }]);

　　這一版代碼最精簡，但是依賴的mongodb的版本比較高，要3.6+

　　現在我們整理完了資料，再看一下上面的查詢，對比一下變化

　　就是在最后添加一個篩選管道，結果和最上面的結果是一樣的都是58條，這里你可能會發現幾個問題：

　　1、查詢表單中的表單項都是硬編碼的數字（例如“1572493552001”），可讀性太差了；

　　2、查詢時間有點長（圖片中有執行時間）；

　　3、寫一個簡單的查詢，這代碼也太多了

　　……

　　對上面的問題，解釋一下

　　1、在實際的界面中的篩選欄位都是拖拉拽設計的，用戶是感知不到的，“1572493552001”只是一個橋梁

　　2、查詢全部的時間是有點長，好吧！不是有點是很長……如果業務需求需要獲取所有的資料時，就不要用這種方式了，麻煩你換一種方式吧！我想說的是實際的場景中都是分頁加載，這時時間還是可以接受的，下面是獲取30條的截圖，時間0.114s

　　3、代碼有點多的問題，其實你可以將上面整理資料的代碼作為篩選的前置條件，只要是查詢都添加這段代碼；還有一種處理方式就是先創建一個視圖(mongodb 3.4+支持視圖，https://docs.mongodb.com/manual/core/views/)

db.createView("FormInstaceView","FormInstace",[    {        $match: {            "FormItems.key": { $ne: null }        }    },    {        $addFields: {            FormValueObj: {                $arrayToObject: {                    $map: {                        input: "$FormItems",                        as: "field",                        in: [ "$$field.key", "$$field.value" ]                    }                }            }        }    },    {      $replaceRoot: { newRoot: { $mergeObjects: [ "$FormValueObj", "$$ROOT" ] } }    },    {        $project: {            FormItems:0,            FormValueObj:0        }    }]);

　　之后你就可以向下面一樣查詢了

　　結果和上面的沒有什么區別，但是你不要將視圖當作mongodb中的collection使用，這樣是查不到資料的

db.getCollection('FormInstaceView').find({FormId:"507048044944692000","1572493552001.id":1})

　　這篇筆記還是夠長的，一大推代碼……就到這里了，

標籤：其它

上一篇：TICK技術堆疊（三）InfluxDB安裝及使用

下一篇：Sqlserver 報錯“引數資料型別 ntext/text 對于 replace 函式的引數 1 無效”的解決方案及原理分析擴展