鵝廠分布式大氣監測系統：以 Serverless 為核心的云端能力如何打造-有解無憂

前述

本系列前序文章，已經對硬體層進行了詳細的說明，講解了設備性能、開發、灌裝等環節的程序，本篇將對資料上云后的相關流程，進行說明，

由于專案平臺持續建設中，當前已開源資訊為二期版本，所以本篇內容均基于此版本能力進行說明，此版本架構進一步優化了資料鑒權及資料庫保護，

本文將分為兩個部分：

架構組成：技術角度，拆解設計邏輯
模塊實作：功能角度，講解實作邏輯

【注1】二期版本首頁效果

【注2】在建三期版本首頁效果

【注3】在建三期版本中，加入了日志服務、物件存盤、小程式功能，提供靈活的日志存盤與高速檢索能力、低成本的資料庫備份+恢復+遷移同步能力、移動端互動及其它能力，

架構組成

二期架構圖

v2_架構圖.png

注：淺藍色標明的是相對一期的架構變更重點，

部署維度

終端：部署在監測點的設備，相關設計在本系列前文中已說明，
云端：部署在云上的平臺，相關設計將在本文說明，

功能維度

以平臺設計的基本組成部分，進行的邏輯拆分，并依架構層的設計需求，配套選型的具體產品，

具體功能與選型說明：

監測節點：由軟硬兩部分組成，基于騰訊物聯網終端作業系統 TencentOS tiny開發韌體，將兼容騰訊云的硬體設備與騰訊云IoT explorer進行了協議級的對接，
本地網關：此部分以通信協議轉換為主，不決議具體資料，僅需按前文指引配置即可，
物聯網接入層：基于騰訊云IoT explorer產品，提供了解密、接入、轉發的相關功能，在獲取資料后，進行了基于http協議的轉推動作，傳遞給下游 API 網關，
中間件層：基于API 網關提供了銜接及負載均衡等能力，基于鑒權、流控等能力，銜接云函式，提供可靠的資料輸入輸出服務，
邏輯層：基于云函式，實作了接收資料入庫（資料固化）、定時統計匯總（資料分析）、輸出應用資料（資料輸出，支撐展示）的能力，
存盤層：基于云資料庫 TencentDB for MySQL，進行監測資料、匯總資料、平臺配置的存盤，
展示層：基于騰訊云圖，提供了地圖展示、資料展示、折線圖展示等能力，并配置提供聯動處理，提高了回應速度，減少了資源檔案的重復傳輸，

模塊實作

整體系統，以資料為核心，進行了相關設計，所以本部分有兩個組成部分：

資料結構：講解各環節的核心資料結構與關聯模式，
模塊說明：講解各功能模塊的實作與對應原始碼，

資料結構

IoT explorer(物聯網開發平臺)推送資料結構

以API網關推送進來，由云函式在環境變數 event 中提取到的原始資料，

其中主要的部分：

非'body' 部分，為api網關相關資訊
'body' = IoT explorer 原始資料
'body' = 終端節點上報的原始資料，經base64編碼

{
    "body": "{\"payload\":\"eyJtZXRob2QiOiJyZXBvcnQiLCJjbGllbnRUb2tlbiI6IjIwMjAtMDgtMThUMTE6MTc6NDkuNDAzWiIsInBhcmFtcyI6eyJQTTFfQ0YxIjo1LCJQTTJkNV9DRjEiOjYsIlBNMTBfQ0YxIjo3LCJQTTEiOjUsIlBNMmQ1Ijo2LCJQTTEwIjo3LCJwYXJ0aWNsZXNfMGQzIjo3OTIsInBhcnRpY2xlc18wZDUiOjI1NCwicGFydGljbGVzXzEiOjE1LCJwYXJ0aWNsZXNfMmQ1IjozLCJwYXJ0aWNsZXNfNSI6MywicGFydGljbGVzXzEwIjowLCJ2ZXJzaW9uIjoxNTEsIkVycm9yIjowfX0=\", \"seq\":18639, \"timestamp\":1597749469,\"topic\":\"$thing/up/property/?????/?????\", \"devicename\":\"?????\", \"productid\":\"?????\"}",
    "headerParameters": {},
    "headers": {
        "accept-encoding": "gzip",
        "content-length": "511",
        "content-type": "application/json",
        "endpoint-timeout": "15",
        "host": "service-???-???.gz.apigw.tencentcs.com",
        "user-agent": "Go-http-client/1.1",
        "x-anonymous-consumer": "true",
        "x-api-requestid": "???03a993936ae191f44651???",
        "x-b3-traceid": "???03a993936ae191f44651???",
        "x-qualifier": "$LATEST"
    },
    "httpMethod": "POST",
    "path": "/??????",
    "pathParameters": {},
    "queryString": {},
    "queryStringParameters": {},
    "requestContext": {
        "httpMethod": "POST",
        "identity": {},
        "path": "/??????",
        "serviceId": "service-?????",
        "sourceIp": "?.?.?.?",
        "stage": "release"
    }
}

'body' 解base64編碼后：

{
    "clientToken": "2020-08-18T11:17:49.403Z",
    "method": "report",
    "params": {
        "Error": 0,
        "PM1": 5,
        "PM10": 7,
        "PM10_CF1": 7,
        "PM1_CF1": 5,
        "PM2d5": 6,
        "PM2d5_CF1": 6,
        "particles_0d3": 792,
        "particles_0d5": 254,
        "particles_1": 15,
        "particles_10": 0,
        "particles_2d5": 3,
        "particles_5": 3,
        "version": 151
    }
}

資料庫表單結構

資料庫詳細格式，請參考 github-sql

各表用途：

config：系統配置表
space：地點表，記錄節點部署地點，
client：節點表，記錄節點資訊及最新關鍵資訊，關聯space表，
base_data：日志表，記錄每次上報的資訊，關聯space、client表，
aggregate_data：匯總資訊表，記錄按小時、天等時段匯總的資料資訊，
temp_base_data：臨時日志表，上報設備名如不在節點表內，則存入此表，主要用于調測，

API介面資料結構

模塊說明

資料入庫

模塊功能：接收IoT explorer推送資料，匹配并轉換后，入資料庫
使用產品：API 網關、無服務器云函式
關聯原始碼：github-upload
部署方式：請參考相關文章在線甲醛監測 “4.2.2 無服務器云函式/4.2.3 云API網關” 章節

終端在線更新

模塊功能：按3分鐘觸發，更新終端資訊，用于快速查詢與展示
使用產品：云函式
關聯原始碼：github-client_active_new
部署方式：請參考相關文章在線甲醛監測 “4.2.2 無服務器云函式/4.2.3 云API網關” 章節，但改為“定時觸發”模式

資料統計

模塊功能：按小時及天觸發，統計監測資料，用于快速查詢與展示
使用產品：云函式
關聯原始碼：github-aggregate
部署方式：請參考相關文章在線甲醛監測 “4.2.2 無服務器云函式/4.2.3 云API網關” 章節，但改為“定時觸發”模式

資料介面-終端匯總資訊表

模塊功能：通過API網關提供資料查詢能力，回應云圖呼叫，提供終端匯總資訊表
使用產品：API 網關、云函式
關聯原始碼：github-client_info
部署方式：請參考相關文章在線甲醛監測 “4.2.2 無服務器云函式/4.2.3 云API網關” 章節

資料介面-終端單點資訊表

模塊功能：通過API網關提供資料查詢能力，回應云圖呼叫，提供終端單點資訊表
使用產品：API 網關、云函式
關聯原始碼：github-client_data
部署方式：請參考相關文章在線甲醛監測 “4.2.2 無服務器云函式/4.2.3 云API網關” 章節

資料展示

模塊功能：提供WEB端展示能力，含地圖繪點、串列展示、折線展示等
使用產品：騰訊云圖
關聯原始碼：無，當前為手工配置
部署方式：請參考相關文章在線甲醛監測 “4.2.4 騰訊云圖” 章節，但資料源選擇時，改為使用“API”，其中“首頁”地圖使用“資料介面-終端匯總資訊表”介面、“單點資料頁”使用“資料介面-終端單點資訊表”介面，具體呼叫的介面URL，請對應API網關提供的服務鏈接，

二期成本分析

v2_成本分析.png

上圖表數為每節點每15秒上報一次的計算結果，

硬體部分由于廠商與采購量的差異，價格不同，此處以云服務成本計算，如果10000節點規模，每節點每分鐘上報一次，單節點云服務年成本：

二期架構 3.335元
(資料庫/年+云圖/年)/10000+(API網關+云函式)/4=(468+48)/10000+(9+2.1)/4
三期架構 1.09元
(訊息佇列/年+資料庫/年*2+云圖/年)/10000+(云函式+日志服務+物件存盤)/4=(3228+468*2+48)/10000+(2.1+2.24+0.02)/4

二期無物件存盤及日志服務模塊，但在當前在建三期中已使用數月，故有實際資料可列入統計，