多功能導盲機器人

?? ?? ?? ?? 劉志宏1，陳伯康1，張東軒1，鄭騫1
摘 要：中國的盲人和低視力患者將近1800萬，而盲人的日常出行還存在很多的問題，導盲犬的培訓周期長，難以滿足廣大的盲人群體，通過對市場上現有盲人輔助產品的了解，以及盲人群體的日常出行需求，針對性的開發導盲機器人，用來滿足盲人以及低視力患者的需求，通過對機器人的底盤，視覺，傳感器以及物聯網等部分的開發，將各部分聯動形成完整的導盲機器人，導盲機器人可通過避障以及視覺對危險的判斷檢測來引導盲人前進，通過物聯網模塊上傳資料并對導盲機器人的狀態進行實時的追蹤，
關鍵詞：導盲機器人；殘疾人；導盲；出行；機器視覺；物聯網；傳感器；避障，

????????Multifunctional blind guiding robot
??Chen Bokang，Liu Zhihong, Zhang Dongxuan, Zheng Qian
Abstract：There are nearly 18 million blind and low vision patients in China, but there are still many problems in the daily travel of the blind, the training cycle of guide dogs is so long, and it is difficult to meet the vast number of blind people, through the understanding of the existing auxiliary products for the blind in the market and the daily travel needs of the blind group, The blind guiding robot is developed to meet the needs of the blind and low vision patients. Through the development of the robot’s territory, vision, sensors and the Internet of things, all parts are linked to form a complete guide robot. The blind guide robot can guide the blind forward through obstacle avoidance and visual hazard judgment and detection, upload data through the Internet of things module and track the state of the blind guide robot in real time.
Keywords: Blind guiding robot; Disabled; Guide blind; Travel; Machine vision; Internet of things; Sensor; Obstacle avoidance.

??盲人等弱勢群體在中國是一個龐大的群體，而在盲人的日常生活中，簡單的出行對他們來說也是一個巨大的挑戰，根據相關的統計約有30%的視障者無法自由外出，對他們來說，外面的世界存在著許多未知的風險，而對于盲道等設施，大多數的城市的盲道都存在著許多的不足和隱患；另外，而對于盲人出行的幫手導盲犬來說，導盲犬的訓練周期長、消耗大、培養成功的導盲犬數量少等問題無法忽視；對于現有的導盲拐杖等產品，其結構簡單產品強度較差，且價格較貴，對于導盲機器人的研究來說大多數的機器人僅通過超聲波以及紅外模塊對其進行避障，安全問題未得到有效的保障，這些問題無法有效地解決就無法使得盲人等弱視群體擁有和正常人一樣的生活，這對于盲人來說，無論是經濟還是心理都是不小的傷害，
??對于本文中設計制作的導盲機器人通過搭載視覺模塊再加上各種傳感器的輔助，對路上的危險情況以及紅路燈的判定，以及通過物聯網將GPS定位資訊以及機器人搭載的各種傳感器收集到的資訊上傳至云平臺，可以實作對盲人等弱視人群的安全進行監控，通過導對盲機器人的運用，可以更好的解決盲人以及低視力人群的出行問題，
??
??
??

1 導盲機器人系統設計

??本文制作的導盲機器人主要由三大部分構成，分別為機器人底盤、視覺模塊、物聯網模塊，

??????
??????????? ?圖1 作業流程圖
???????????Fig.1 Work flow chart

1.1 機器人底盤
??導盲機器人地盤為履帶式地盤，履帶式地盤相比于其他的地盤來說，對于不同環境下地形的適應性更強，底盤配備了十二伏直流減速電機，動力強勁，轉彎靈活且行進穩定，保證了導盲機器人搭載的各個模塊的正常運作，

1.2 視覺模塊
??導盲機器人的視覺在樹莓派上進行實作，

?1.2.1 樹莓派環境配置
??(1)下載所需要的樹莓派系統
??(2)下載格式化磁盤軟體，將磁盤格式化
??(3)完成安裝并進行U盤格式化操作
??(4)將樹莓派的記憶體卡插在電腦上，打開軟體
??(5)下載etcher，將系統匯入到記憶體卡中
??(6)python庫的安裝
??(7)OpenCV3.4.1安裝
??(8)安裝構建OpenCV的相關工具；

?1.2.2 基本設計概念和處理流程
??基于樹莓派的人物追蹤系統主要基于搭載有四核ARMCortex-A53 1.2GHz型CPU、1GB大小RAM芯片的3代B型樹莓派，并配有1個卡帶式樹莓派攝像頭、1張16GB大小的SD卡，同時還帶有一個充電寶作為DC 5V/2.5A的電源輸入，而小車則主要有電機、底板、橡膠輪和測驗用的樹莓派組成，當小車上電后，小車便自動開啟跟隨功能，小車的攝像頭會對準用戶，當人物開始移動時，小車的攝像頭會始終跟隨用戶并鎖定，以防止目標發生錯亂，并且小車在移動程序中，會始終距離用戶1米左右的距離，以便用戶的活動，同時又能確保小車不會跟丟用戶，若用戶開始加速移動，小車根據pid演算法的計算也會做加速度不恒定的加速運動，在此程序中，小車會不斷根據小車距用戶的距離來調整自身的速度直到距離恒定為1米為止，當小車在跟隨的程序中檢測到行進路上有障礙物時，會自動調整方向以繞開障礙物，并加速跟上用戶，當小車檢測到用戶有大幅度的拐彎時，小車會加速前進，將用戶與小車的距離縮短至0.5米以防止跟丟目標，

?1.2.3模塊的劃分和相關技術的運用
??基于樹莓派的人物追蹤系統及其小車實作主要設計了OpenCV視頻影像處理模塊、人物距離測定模塊和車體控制模塊三個模塊，在小車作業期間，OpenCV視頻影像處理模塊主要負責處理攝像頭視頻流，并獲取相關資訊，人物距離測定模塊主要負責捕獲周圍的環境資訊并測定小車與用戶之間的距離，車體控制模塊則負責處理OpenCV視頻影像處理模塊和人物距離測定模塊所傳來的資訊，并將之轉化為電機驅動資訊，驅動小車前進，實作小車的跟隨，圖一介紹的是模塊的劃分以及與外部的聯系，

?1.2.4基于OpenCV的人物特征值提取技術
??為了防止小車的跟隨目標發生混亂，小車必須通過處理攝像頭傳來的視頻流獲取人物的相關資訊并鎖定，基于樹莓派的人物追蹤系統采用了基于OpenCV的人物特征值提取資訊來完成任務的識別鎖定，當小車開始作業時，樹莓派攝像頭會不斷的捕獲影像形成視頻流并傳給OpenCV視頻影像處理模塊，當OpenCV模塊接收到外部傳來的視頻流后，會以幀為單位去處理視頻流，每次處理一幀影像，并通過基于OpenCV的人物特征值提取技術提取出用戶的特征值，圖二是特征值提取的基本流程，
??基于OpenCV的人物特征值提取技術主要又分為兩部分：興趣部分識別技術和人物邊緣提取技術，下文將詳細闡述兩個技術，
?(1)興趣部分識別技術
掩膜處理是進行影像處理的常用方法之一，主要是用選定的影像、圖形或物體，對待處理的影像(全部或區域)進行遮擋，來控制影像處理的區域或處理程序，目的是為了提取感興趣區，用預先制作的感興趣區掩模與待處理影像相乘，得到感興趣區影像，感興趣區內影像值保持不變，而區外影像值都為0，興趣部分識別技術就是基于掩膜處理技術，為了提取影像中的任務資訊，必須對每次截取的一幀圖片進行掩膜處理，在接收到一幀影像后，基于OpenCV的視頻影像處理模塊會呼叫OpenCV中的顏色空間轉換函式：

cv.CvtColor(img，hsv，cv.CV_BGR2HSV)，

顏色空間轉換函式會自動將RGB的原影像轉化為HSV型的影像，在轉化完成后，模塊會呼叫OpenCV函式庫中另外一個用于掩膜處理的函式：

cv.InRangeS(hsv，lower_blue，upper_blue，mask)，

函式會對已經生成的HSV型影像進行遮掩處理，通過引數的調整只保留感興趣的部分，并將其值設為1，這樣也能同時完成保留影像的影像二值化，為后面的人物邊緣提取操作打下基礎，
?(2)人物邊緣提取技術
??腐蝕和膨脹是對影像處理的另外一種手段，對影像采取腐蝕和膨脹處理主要是為了消除噪聲、分割出獨立的影像元素以及在影像中連接相鄰的元素，其視覺效果便是使高亮區域更大或是更小，對于腐蝕來說，就是讓高亮區域更小，即被將處理的二值影像中的每一個點與結構元素中的中心點進行重合比較，若結構元素中的高亮點都在二值影像的高亮點內，則該點設為高亮點，而對膨脹來說，就是讓高亮區域更大，基即將被處理的二值影像中的所有點與結構元素中的中心點重合比較，結構元素中的高亮點只要有一個落在被處理的二值影像的高亮區域中，則該點就設定為高亮點，人物邊緣提取技術就基于腐蝕和膨脹這兩種演算法，在完成了對影像的掩膜處理后，輸出的影像首先會被進行腐蝕處理，其主要目的是獲取人物的邊緣輪廓，基于樹莓派的人物追蹤系統會呼叫OpenCV函式庫中的腐蝕函式：

cv.Erode(mask，eroded，element，iterations)，

該函式會將被掩膜處理后的影像的邊界提取出來，生成的影像會被進行膨脹處理，基于樹莓派的人物追蹤系統會呼叫OpenCV函式庫中的膨脹函式：

cv.Dilate(eroded，dilated，element，iterations)，

該函式會將腐蝕得到的人物邊緣輪廓進行放大，以便更好更精準的識別，在完成了這些操作后，基于樹莓派的人物追蹤系統便通過樹莓派攝像頭獲得了目標的特征值，并且每一次截取一幀影像后所得的特征值都會與上一次獲得的特征值進行比較，若發現人物特征值出現偏移，樹莓派會自動調整攝像頭以鎖定目標，當系統確定了特征值后，便會將資訊傳遞給車體控制模塊，以便實作跟隨任務，

1.3 物聯網模塊
??對于物聯網模塊的選擇，主要有兩種選擇,一種是選擇GPRS模塊，一種選擇是通過NB-IoT模塊來進行通訊，對于NB-IoT模塊來說覆寫面積廣且資費低，適合中低距離的通訊技術，它支持PSM模式，功耗極低，且大部分時間NB-IoT的處于PSM狀態；NB-IoT適合用于低頻次的業務開發，適合通信次數較少的業務開發，例如檢測到傳感器資料超標而進行通訊，通過通訊次數的減少保持其低功耗的，其余的時間大部分處于休眠的狀態，適合于水表、傳感器的監控等不需要高頻次通訊的領域，
??而對于導盲機器人來說，對于GPS以及傳感器資料的傳送需要實時的對資料進行發送，NB-IoT顯然不適合用于導盲機器人的物聯網部分，而GPRS適用于遠距離的通訊，且GPRS的通訊速率相對于NB-IoT來說通訊速率更快更適合用于GPS定位以及多種資料流的上傳；對于導盲車運行程序中的定位資料上傳以及傳感器的資料上傳來說，GPRS相比于NB-IoT來說更適合本文的作品，對于GPRS模塊主要將其與STM32通信，由STM32接收到傳感器以及GPS的資料后通過GPRS模塊使用AT指令將資料傳輸到云平臺，

??????????表1 NB-IoT及GPRS的應用
???????able 1 Application of NB-IoT and GPRS

1.4中央微控制器
??它是以STM32F103系列單片機作為中央處理器，內置了ARM團隊生產的高性能、低成本、36mA超低功耗的嵌入式 CORTEX-M3內核,頻率高達72MHZ，它在本產品中充當控制核心的作用，它與不同的模塊連接進行通訊，是資料的中轉站，是實作原始資料的處理以及資料的調配、發送、接收的部分，保證了產品的正常運轉，

1.5 定位模塊
??定位模塊使用了ATGM336H-5N模塊，該模塊支持多種衛星導航系統，包括中國的BDS和美國的GPS，該模塊可獨立作業在GPS模式或北斗模式下也可在雙模式下作業，該模塊基于于中科微第四代低功耗GNSSSOC 單芯片—AT6558，該芯片是一款六合一多模衛星導航定位芯片，包含32 個跟蹤通道，可以同時接收六個衛星導航系統的GNSS 信號，可實作聯合定位、導航與授時，ATGM336H-5N 本系列模塊具有高靈敏度、低功耗、低成本等優勢，適用于車載導航、手持定位、可穿戴設備，在本作品中通過將GPS模塊串口與STM32串口連接進行串口間的通訊，通程序式對NMEA0183 協議幀格式內容的決議，獲取到GPS模塊傳回的經緯度資訊，同時將傳回的經緯度資訊的度.分.分格式轉換為度.度的格式以匹配云端的資料流，將經緯度資訊處理后通過物聯網模塊將經緯度的資料流上傳到云平臺，將經緯度的資訊在云平臺上通過地圖位置以及軌跡的方式顯現，

?? ?? ??????????????? 圖2 GPS模塊
????????????Fig.2 GPS module

1.6 語音播報模塊
??采用了SYN6288語音合成模塊作為核心器件，采用串口通信和STM32進行通信，利用單片機串口發送“5個位元組幀頭+文本”的格式即通過單片機的串口發送對應的文本和內容和文本計算出的幀頭，利用播報模塊對各種狀況進行及時的播報，方便盲人以及低視力患者對外界情況的感知，

?????????????????????圖3 語音播報模塊
??????????Fig.3 Voice broadcast module

1.7 MPU6050傳感器
??它內置了一個三軸MEMS陀螺儀、一個三軸 MEMS 加速度計、一個數字運動處理引擎DMP，它還有用于第三方的數字傳感器介面的輔助 I2C 串行介面，MPU6050對陀螺儀和加速度計分別使用了三個16位的ADC，通過DMP結合InvenSense公司提供的運動處理資料庫來實作姿態的解算，通過陀螺儀和加速度計分別測出角速度和角加速度，二者通過相應的演算法結合就可以得到我們所需要的PITCH（俯仰角）,YAW（偏航角）以及ROLL（翻滾角）角了，通過對不同的角度資料的檢測，我們可以準確的了解到導盲機器人的運行姿態，將測出的資料通過GPRS模塊上傳到云平臺，并通過對相應閾值的設定，在姿態資料例外時能夠及時的了解到例外狀態的資訊，也能進一步的保障用戶安全和導盲機器人的正常作業，

????????
????????????;圖4 MPU6050傳感器
????????????Fig.4 MPU6050 Sensor

2 導盲機器人的具體實作

??本節由硬體、軟體實作兩部分組成，

2.1 硬體的實作
??硬體部主要由上節敘述的模塊組成，具體有物聯網模塊、GPS模塊、語音播報模塊MPU6050傳感器，由STM32f103系列芯片作為主控；視覺部分由樹莓派來進行實作并和STM32主控進行通信，系統由12V的鋰電池進行供電，通過降壓模塊對進行降壓并為STM32芯片、樹莓派等部分進行供電，12V電源主要為機器人底盤的兩個12V直流減速電機進行供電，

2.2 軟體的實作
??機器人的各個模塊與STM32進行通訊，除視覺部分外，其余功能的軟體撰寫主要是對STM32進行的，與STM32通信的定位模塊、物聯網模塊、語音播報模塊均利用了STM32的串口部分，使用串口前需要先對串口的引腳進行初始化，對于定位模塊回傳的資料的幀格式來說，在撰寫程式時首先會定義一個快取陣列對傳回的資料進行暫時存盤，之后我們在程式中利用NMEA0183 協議對資料進行決議，及對傳回資料中的 以 及 以及 以及后的資料進行對比，得出所需的有效資料，利用C語言頭檔案<string.h>中的memcyp函式將陣列中有效資料拷貝到事先定義的結構體變數的記憶體地址，同時利用meset函式對陣列進行清零，使用時通過對結構題中的變數進行呼叫即可對資料進行操作，
??物聯網模塊通過STM32的串口對AT指令的發送和對回傳資料的接收進行通訊，STM32對物聯網模塊發送AT不同的指令用以連接云平臺，并對回傳的資料進行判斷，接入使用了MQTT協議來接入云平臺，主要是通過對可變報頭以及訊息體的編輯，并通過對各個資料流進行封裝將其傳入云平臺，語音播報模塊通過STM32串口發送“5個位元組幀頭+文本”的格式對文本進行播報，幀頭是關于文本長度以及解碼格式等資訊，在需要播報時利用對應的中斷和串口發送即可對不同狀況進行播報，
??對于MPU6050主要通過iic對MPU6050的暫存器進行讀寫操作，為了避免STM32的硬體iic可能出現的問題，iic部分主要通過撰寫模擬iic通過配置STM32引腳來進行iic通訊，
??視覺部分主要通過對OPENCV庫函式的呼叫實作其具體功能，掩膜處理是進行影像處理的常用方法之一，為了提取影像中的任務資訊，必須對每次截取的一幀圖片進行掩膜處理，在接收到一幀影像后，呼叫OpenCV中的顏色空間轉換函式：

cv.CvtColor(img，hsv，cv.CV_BGR2HSV)，

顏色空間轉換函式會自動將RGB的原影像轉化為HSV型的影像，轉化完成后，模塊會呼叫OpenCV函式庫中另外一個用于掩膜處理的函式：

cv.InRangeS(hsv，lower_blue，upper_blue，mask)，

對已經生成的HSV型影像進行遮掩處理，通過引數的調整只保留感興趣的部分，
??人物邊緣提取技識訓于腐蝕和膨脹這兩種演算法，在完成了對影像的掩膜處理后，輸出的影像首先進行腐蝕處理，獲取到人物的邊緣輪廓，然后會呼叫OpenCV函式庫中的腐蝕函式：

cv.Erode(mask，eroded，element，iterations)，

利用該函式將被掩膜處理后的影像的邊界提取出來，將生成的影像進行膨脹處理，通過呼叫OpenCV函式庫中的膨脹函式：

cv.Dilate(eroded，dilated，element，iterations)，

該函式會將腐蝕得到的人物邊緣輪廓進行放大，以便更好更精準的識別，
??
??
??

3 結束語

??對于盲人以及低視力患者的出行問題來說，一直以來都是難以解決的一個問題，但人工智能、5G的到來以及機器視覺的飛速發展給給導盲機器人的未來帶來了可能，對于本作品來說，其功能豐富，操作便捷，能夠良好的保障用戶的出行安全，通過搭載的物聯網模塊可讓用戶的家人對導盲機器人的實時狀態更好的了解，利用視覺對危險判定使行進更加安全；本作品較好的滿足了盲人以及低視力患者的日常出行需求，在未來，對于機器人還需要做出許多的改進和升級，對于物聯網部分來說，在未來可利用最新的物聯網技術來做到實時視頻的查看，而機器視覺部分可進一步的完善神經網路學習來進一步提 升對危險的判斷種類以及判斷的速度和準確率，
??

??
??

參考文獻

[1] 湛益格,程鳳, 劉洋旭,等. 視障人群公共設施現存問題的調查研究——以煙臺市為例[J].青年時代,2019,(01): 137-138,140.
[2] 陳迪, 李雯,駱莉玲,王夢琳,金王婷. 關于盲道使用現狀及其存在問題的研究[J].時代金融,2020, (08): 123-124+126.
[3] 姜成貴. NB-IoT在物聯網中的應用[J].中國新通信,2020, (1):26-28.
[4] 韋士飛,張建鋒,門思鵬.基于單目視覺的智能循跡小車設計與實作[J].寶雞文理學院學報(自然科學版),33(03):289-293.
[5] 岳俊峰,李秀梅.基于機器視覺的智能小車自動循跡及避障系統[J].杭州師范大學學報(自然科學版),2020,19(02),200-207.
[6] 宮福祥,高晉. 基于GPS與智能互動的導盲手杖改良設計[J].輕紡工業與技術2021,50(08):105-106.
[7] 范浩,徐龍,賴福明,蔡文廣,呂明澤,李媛.基于STM32和MPU6050的姿態控制系統[J].電子元器件與資訊技術,2020,4(02):74-75+86.
[8] [1]王小紅.基于STm32的車禍自動報警系統設計[J].黑龍江交通科技,2019,42(12):142-143+146.
[9] [1]劉選朝,田庚,陳威沖,張家田,嚴正國.基于MPU6050的人體姿態檢測家電控制系統設計[J].現代計算機,2019(26):88-92.
[10] [1]曹景勝,石晶,魏丹,劉叢浩.基于GPS/GPRS的車載定位遠程監測系統設計[J].儀器儀表與分析監測,2018(02):43-46.