作者：藍色風暴端識別團隊（張昭宗、汪祖臣、菜嘰、展義、王佳軍）

1 背景

蜂鳥騎手在餐品配送程序中會經歷以下五個主要階段：接單、到店、取貨、配送、送達，其中接單、到店與取貨階段主要涉及平臺及店鋪方面，而配送和送達階段則直接與顧客息息相關，騎手將餐品交付顧客手中，因此需要與顧客電話溝通、面對面完成送餐流程，
對于配送服務來說，與顧客直接接觸的程序對塑造品牌口碑尤其關鍵，其中有兩大方面特別影響顧客對于品牌的印象：送餐時間及騎手的服務質量，送餐時間是相對明確的量化指標，而騎手的服務質量則是包括多方面的一項綜合評斷：與顧客溝通的話術（專業的話語，得體的態度等）、騎手本身的形象（專業的送餐裝備，包括穿著和餐箱等）等，
為了提高蜂鳥騎手的服務質量、履行平臺的監管職責、提高騎手在送餐程序中的安全性以及提高蜂鳥品牌形象，本地生活平臺會對送餐程序中的騎手進行抽查，因此誕生了藍色風暴的抽檢業務，藍色風暴抽檢程序中，會對騎手是否佩戴頭盔、工服、餐箱，是否是注冊騎手本人送餐等進行檢查，在特殊時期還包括是否佩戴口罩等，

2 現狀分析

2.1 目前流程

由于蜂鳥騎手數量眾多，沒有辦法做到實時監管；同時全量檢測勢必會影響騎手效率以及增大平臺運營成本，因此當前采取的策略是對騎手進行抽檢，
目前抽檢由質控中心（QC）進行配置，考慮到抽檢本身對騎手配送會有時間影響，因此如果騎手命中抽檢計劃，會在當前送完最后一單時進行抽檢，騎手通過蜂鳥 App 在拍完自拍照（需包含頭盔、工服、人臉等資訊）后上傳至審核臺進行審核，審核后的結果會告知騎手并同步服務中心，若不符合要求，服務中心會作出扣款處罰并將賬單資訊發送給騎手平臺，

整個抽檢流程中，在騎手拍完照片上傳至審核臺后，審核臺首先通過 AI 進行審核，AI 審核系統會通過騎手身份證件照，對騎手抽檢程序中的照片進行人臉比對，識別照片中的騎手是否符合抽檢要求（是否佩戴頭盔，身穿工服等），
當 AI 審核結果較為明確時直接給出結果（如確定著裝不符合要求）；反之若審核的結果不確定，則審核單會流入到人工審核，由審核人員進行二次判定，

2.2 現有問題

通過引入 AI 審核，相比最開始的全人工審核，人工審核單數量已經大大減少，但是通過審核臺上的相關資料分析發現，目前AI審核所能處理的審核單數量只占總量較少一部分，大量審核單仍需要人工參與，這是因為很多線下騎手拍照的規范性、所處環境等原因，不能嚴格按照要求來進行，為了履行平臺的監管職責，會將存在歧義的單子流入人工，
對人工審核來說，每年的人工審核預算是有限的，在目前的審核預算下，每年都會將預算全部用完，甚至需要找其他部門要預算，同時由于預算上的限制，也無法擴大審核量，提高抽檢比率，這也近一步限制著騎手形象滿意度，目前在對餓了么品牌形象減分的影響因素里面，騎手形象占據最多的比例，每個月用戶對于騎手的著裝不整潔等等的反饋量比較多，受制于抽檢量不足的限制，騎手的著裝規范無法得到明確落實，C端用戶對騎士形象的差評率出現走高趨勢，
因此我們可以看出，無論是為了降低成本還是擴大抽檢量化，提高機審比例是一件亟待解決的事情，

3 端智能方案

為了降低人工審核比例，同時確保騎手能及時的感知著裝是否符合要求，我們在與淘系技術部 - 端智能團隊交流后，決定將 AI 識別放在端上進行：在騎手拍照程序中直接識別騎手的裝備和人臉等并實時給出對應的提示，
整個專案程序中，基礎設施方面我們直接借力集團成熟的端側推理引擎 MNN 以及配套的一站式工具 MNN 作業臺，業務則分為兩個步驟進行：

• 第一期先在端上試水，在騎手拍照時，AI 識別騎手符合抽檢要求時主動幫騎手拍照，在現有的抽檢流程上做一個輔助類的工具，并利用這些資料來驗證，在端上識別是否可行，

• 第二期完全端識別，在第一期驗證階段驗證端上識別確實有效的前提下，我們將整個識別程序放在端上處理，騎手在相機頁面，我們會根據騎手預覽畫面中的視頻流來識別騎手裝備，如果符合要求就直接透傳抽檢結果給后端，以替代后端 AI 識別和人工審核，

整體架構如下：

3.1 第一期：端上預識別

3.1.1 端上預識別

端上預識別作為一個輔助工具，在騎手拍照預覽時，端上 AI 會識別視頻流中的幀，會和騎手進行視頻的捕捉互動，每一刻實時給到騎手抽檢狀態的反饋，便于騎手實時調整（類似支付寶刷臉場景），如下圖中淡黃色框選的區域；當未識別成功時，騎手也可以手動進行拍照，整體的抽檢判定流程還是走以前服務端邏輯，

3.1.2 演算法設計

目前一期方案：主要進行人臉檢測、頭盔識別和工服識別，首先對輸入影像進行人臉檢測，如果檢測到人臉，根據人臉位置，定位到人的頭頂位置，對影像進行裁剪得到頭頂影像，然后將其輸入到頭盔分類模型，進行頭盔分類，同理根據人臉位置，定位到上半身位置，對影像進行裁剪得到上半身影像，然后將上半身影像輸入到工服分類模型進行工服分類，演算法流程如下：

在蜂鳥 App 開發和本地生活研究院同學的合理結合下，產生了非常顯著的業務效果，這也證明只要明確業務場景，端側 AI 可以有效地成為業務創新的源動力，

3.1.3 效果展示

在經過一個版本的線上驗證，通過統計分析審核臺和端上預識別騎手抽檢資料后（見下方表格），我們可以明顯看出端上預識別的結果與最終審核結果保持高度一致，二者僅相差0.0292，誤差為3.3%，與此同時，在騎手抽檢程序中，端上預識別也能很好的節約騎手時間，減少騎手對抽檢專案的抵觸情緒，

備注：通過比例 = 符合審核要求的騎手數 / 總審核的騎手數

一期基于端上智能的預識別專案，在蜂鳥 App 團隊和本地生活研究院的通力合作下，對業務產生了非常顯著的效果，
相信藍色風暴專案的成功開展，也可以為大家在非電商場景下使用端智能增加一些信心，

3.2 第二期：完全端識別

3.2.1 完全端識別

在統計一期識別資料后，可以看到目前端上預識別表現良好，無論是演算法準確率還是識別結果都滿足取代后端審核系統的設想，通過將識別程序提前到端上，騎手能實時感知抽檢程序，抽檢也極短時間內給出結果，

在騎手抽檢程序中，當騎手打開照相機后，通過預覽畫面，比對當前騎手的面部特征是否與注冊資訊中一致，并對其進行活體檢測，根據抽檢等級要求，識別騎手是否有佩戴頭盔、身穿工服等等，當所有條件都滿足時，識別通過，并將識別結果透傳給后端，
在騎手抽檢程序中，在裝備符合抽檢要求的情況下，如果端上識別通過則直接通過，如果端上識別失敗，可提交人工審核，就目前的資料來看，提交人工審核的這部分并不會太多，
在裝備不符合要求的情況下，如果端上識別不通過，則直接給出結果，如果識別通過，就目前資料來看，這部分量也不會太多，后面我們也會持續優化演算法以及做好降級到人工審核的方案，

3.2.2 演算法設計

在二期方案中，我們在已有演算法的基礎上，增加了口罩識別，活體檢測和人臉比對功能，我們對檢測到人臉的影像，進行口罩分類，識別該騎手是否佩戴口罩；同時，對于檢測到的人臉，進行人臉對齊，然后根據面部特征點位置采用互動式隨機動作法（包括：眨眼、張嘴、搖頭和點頭）進行活體檢測，如果輸入影像來自真實騎手，那么將該人臉對齊到標準位置，并且提取特征，和已經提取好的注冊人臉的特征進行余弦距離計算，如果得到的余弦距離小于指定的閾值，那么判斷為同一個人，否則則認為不是同一個人，演算法流程概要如下圖所示：

目前完全端識別正在進展中，業務資料敬請期待，

4 總結與展望

在即時配送領域，配送員在觸達客戶時候的著裝、話術是消費者面對品牌的第一印象，為了提升餓了么的服務質量和品牌形象，本地生活相關團隊開展了服務抽檢專案，通過對騎手著裝的自拍照進行審核來履行平臺對于蜂鳥騎手的監管職責，確保送餐程序中的安全性及品牌形象，

但現有流程下的抽檢方式已無法滿足蜂鳥品牌更大規模下的應用與建設，因此我們通過與淘系技術部 - 端智能團隊合作，借力于其優秀的端智能基礎設施 MNN 以及 MNN 作業臺，將端智能實時抽檢運用到騎手抽檢流程中，

通過開展端上預識別專案，一方面幫助騎手提高拍照體驗，在手抽檢流程中節省騎手20%~25%的操作時間；另一方面也大大節省了原先人工審核中的冗長流程和成本，一期專案的成功落地也為下一階段端智能專案的全面開展打下了堅實的基礎，

而借助藍色風暴專案，我們切實地發現端智能在本地生活領域的應用，能夠有效的降低抽檢業務成本、擴大抽檢量以及提高抽檢體驗；同時也通過這個專案，本地生活蜂鳥 App 團隊沉淀了一系列端智能的能力和經驗，后續也會和淘系技術部 - 端智能團隊合作，將其賦能給集團更多的需求方，

“阿里本地生活技術”公眾號已同步開通，歡迎關注