2021第七屆工程訓練綜合能力競賽之智能垃圾分類山西省賽區
前言
寫在前面：第一次寫博客，想把這半年的備賽經歷記錄下來分享分享給大家，如有錯誤歡迎大家指正，
比賽成績：1分23秒（播放宣傳片到滿載結束）（山西省賽區）
基本配置：
1.硬體：STM32 雙直流電機驅動 亞博K210開發板 maixK210淘寶鏈接 OV5640攝像頭 顯示屏 996（995）舵機 穩壓模塊
2.軟體：yolov3 maixpyIDE kflash-gui（下載韌體）
3人員：山西省太原工業學院大二本科生三人團隊（兩機械一電控）本人電控
比賽簡介
山西省賽與4月26日開始，26日晚提交作品，27日上午9：30到11：30訓練十種垃圾：小號礦泉水瓶，易拉罐，一號電池，二號電池，五號電池（全為南孚），棉簽，煙頭，碎瓷片，小西紅柿，切割過的胡蘿卜（片狀），比賽現場，兩組一起進場地比賽，我們組成績為1分23秒（播放宣傳片到滿載結束），時間排名第一,檔案17分綜合排名第二，觀看了很多學校的垃圾分類裝置，開發板頂配是英偉達，大部分是樹莓派或openmv，還有的正點原子精英板，我們的垃圾桶包裝也很到位，沒有線外露，貼了壁紙，視覺效果還可以，附下圖，
心路歷程
接到這個專案的時候，剛比完校內賽，那會已經熟練掌握STM32f103，看完賽題之后，就是網上查閱資料，機器視覺，影像分類這些字眼第一次飄進我的大腦，因為沒接觸過，更是一臉懵，不過還好有電控學長帶著，最初確定了方案是openmv+stm32，于是開始研究openmv，就此開啟了python的學習之路，在花了兩周左右搞出來垃圾識別的時候，發現openmv很燙手（燙手寶1號）而且引腳口很少，滿足不了比賽要求，在四川省賽結束后，重新確定方案：樹莓派（燙手寶2號）+ stm32，在確定樹莓派這段時間，看到一篇博客，對我那會幫助很大，感謝這位博主，讓我學會用opencv-python識別自定義物體，學會之后實踐識別垃圾，發現根本達不到比賽要求，識別率特別低，基本識別不出來，所以接下來就去老老實實的學習tensorflow去了，順便進入了樹莓派安裝各種依賴的時期，樹莓派沒搞多久，學校放假，帶回家研究了幾天，想著在樹莓派上裝pycharm運行代碼識別垃圾，但是最終效果很卡很卡，在網上又查閱到用樹莓派實作垃圾分類的博客1，也很有幫助，但是因為時間太緊，還有其他原因，最終沒能按照這位博主所寫的走下來就換了K210，亞博K210的資料很全面但是使用的是C語言，網上開源的關于影像識別的編程語言絕大部分都是python語言，某次不經意間看到B站上的視頻，用的K210是maixpy，就想著把他這一套放在我都亞博的開發板上，感謝老天，我成功了！后來才知道兩款K210芯片都一樣所以可以使用，而且maix的開發板是基于openmv的，所有的資料教程以及maixIpyDE也是基于openmv的IDE，所以，在有之前的openmv基礎，很快上手，每天都有大突破，一周左右就能識別自定義垃圾，識別率在80%左右，之后的事情就簡單了，訓練模型，提高識別率，
K210的使用相關引數
K210maixpy上手教程
K210的攝像頭
K210的板載攝像頭是ov2640，200萬像素，識別視野小，識別倒是可以，但是為了比賽，為了識別小的垃圾，得更換更高像素的攝像頭，這里的坑：不要找什么廣角攝像頭，個人覺得24P引腳的廣角攝像頭都有畸變，不建議使用，這里推薦使用ov5640攝像頭，500萬高像素，識別視野相比ov2640更大點，如圖所示
ov2640 
ov5640 
K210資料采集
詳情請看此教程
資料采集方法：1.手機拍照格式為1：1，224*224
2.開發板拍照：使用開發板采集資料，用此腳本收集影像（閱讀影像收集用法以收集影像）
資料集采集檔案格式如下：
K210的本地訓練
maixpy基礎檔案寫的特別詳細，大家都能看懂，主要闡述一下我踩過的坑：
首先，需要一臺有 Linux 系統的電腦 如果你的主力系統是 Windows， 你可以用以下系統環境：
- 使用虛擬機,
virtual box或者vmware都可以， 系統推薦安裝Ubuntu20.04， - 或者安裝雙系統，安裝方法請自行搜索學習，或者看雙系統安裝（博主寫的很詳細）
- 這里必須說一點，虛擬機不能使用GPU，只能通過雙系統使用GPU
- 建議新手先用網站訓練：sipeed官網訓練
我踩下的坑：裝雙系統訓練模型，因安裝Ubuntu20.4雙系統找了教程沒有跟著博主好好走下去，私自安裝，導致覆寫安裝了Ubuntu，把window系統抹掉了/(ㄒoㄒ)/~~又花了好多時間重裝了window系統，這里感謝隊友貢獻他們的電腦（我在他們電腦上裝的Ubuntu哈哈哈哈 鞠躬！）所以，裝雙系統一定要小心謹慎！建議先裝vmware虛擬機上進行本地訓練：VMware虛擬機安裝教程 ，vmware安裝Ubuntu20.04教程，建議給Ubuntu分40G記憶體！ 親測記憶體大訓練快！（40G夠夠的）記得弄個共享檔案夾方便，初次接觸，建議先使用 CPU 進行訓練，環境安裝會簡單很多， 檔案教程中講 CPU 訓練的方法很詳細我在這里不做贅述，接下來的使用方法摘抄于倉庫的 README, 如果有出入， 以倉庫的README為準，注意分辨，
CPU本地訓練教程
如下是本地訓練部分代碼
import os
curr_dir = os.path.abspath(os.path.dirname(__file__))
# kmodel convert
# "/ncc/ncc" # download from https://github.com/kendryte/nncase/releases/tag/v0.1.0-rc5
ncc_kmodel_v3 = os.path.join(curr_dir, "..", "tools", "ncc", "ncc_v0.1/ncc")
sample_image_num = 20 # convert kmodel sample image (for quantizing)
# train
allow_cpu = True # True
# classifier
classifier_train_gpu_mem_require = 2*1024*1024*1024
classifier_train_epochs = 70
classifier_train_batch_size = 5
classifier_train_max_classes_num = 15
classifier_train_one_class_min_img_num = 40 # 一個類別中至少需要的樣本數量
classifier_train_one_class_max_img_num = 2000 # 一個類別中最多需要的樣本數量
classifier_result_file_name_prefix = "maixhub_classifier_result"
# detector
detector_train_gpu_mem_require = 2*1024*1024*1024
detector_train_epochs = 40
detector_train_batch_size = 5
detector_train_learn_rate = 1e-4
detector_train_max_classes_num = 15 # 最多能訓練多少類
detector_train_one_class_min_img_num = 100 # 一個類別中至少需要的樣本數量
detector_train_one_class_max_img_num = 2000 # 一個類別中最多需要的樣本數量
detector_result_file_name_prefix = "maixhub_detector_result"以下為本地訓練截圖：
本地訓練的好處：classifier_train_epochs = 70（迭代次數可以修改，網站上模型訓練默認迭代40次）資料集訓練壓縮包沒有20MB限制！這就很牛批，我最初擔心的要是比賽十多種垃圾會不會因為資料集壓縮包太大無法訓練，如此看來是多余的，最主要的好處就是，不用排隊，網站訓練得排隊等候服務器，每次只能一個用戶訓練，少則半小時四十分鐘，多則一兩小時，排隊多了甚至一天都有可能，本地訓練隨時可以，我的資料集2000左右基本上訓練時間在四十分鐘左右（vmware虛擬機訓練），這也是我搞本地訓練的初衷，
K210訓練注意事項
- 本地訓練資料集雖然沒有網站上那樣要求小于20MB，但是資料集越多，訓練時間越長，而且也不是訓練時間久效果就越好，一般迭代次數在60左右，當loss降到0.1左右，accuracy為0.9左右時模型效果還算可以，
- 本地訓練也要求每張資料集格式為224*224，
- 自定義物體識別本地訓練時，要求各物體資料集差別明顯，背景豐富，各物體資料集數量建議200+，
- 同一資料集每次訓練出來的模型效果都不一樣，
- 拍照采集資料集時，建議保證光亮環境，
K210的垃圾分類關鍵代碼：
部分代碼如下，如有需要源代碼可評論區@我+qq郵箱
if plist.index(pmax)==4: #other 其他垃圾
if pmax >= 0.9: #準確率
if a == 3:
time.sleep_ms(10)
write_str = ('page ji') # 發送報警錯誤信號給顯示屏 IO15
print("send = ", write_str)
uart_A.write(write_str)
uart_A.write(s)
a += 1
break;
Servo_2(S2,55) #舵機2轉動
time.sleep_ms(200)
Servo_1(S1,55) #舵機1轉動
write_str = ("t%d.txt=\"other rubbish 1 ok!\"" %(a)) #發送垃圾種類給顯示屏
uart_A.write(write_str)
uart_A.write(s)
write_str = ("wav0.en=1")
uart_A.write(write_str)
uart_A.write(s)
a+=1
time.sleep_ms(440) #舵機歸位
Servo_1(S1,-7)
Servo_2(S2,0)
time.sleep_ms(600)
break;
if plist.index(pmax)==3: #kitchen 廚余垃圾
if pmax >= 0.9:
if a == 3:
time.sleep_ms(10)
write_str = ('page ji') # 發送報警錯誤信號給顯示屏 IO15
print("send = ", write_str)
uart_A.write(write_str)
uart_A.write(s)
a += 1
break;
Servo_1(S1,60)
write_str = ("t%d.txt=\"kitchen rubbish 1 ok!\"" %(a))
uart_A.write(write_str)
uart_A.write(s)
write_str = ("wav0.en=1")
uart_A.write(write_str)
uart_A.write(s)
a+=1
time.sleep_ms(450) #舵機歸位
Servo_1(S1,-7)
time.sleep_ms(500)
break;
uart.deinit()
del uart
except Exception as e:
raise e
finally:
if not task is None:
kpu.deinit(task)
if __name__ == "__main__":
try :
labels = [ "Recyclable","background","harmful","kitchen","other"]
main(labels=labels, model_addr="/sd/m.kmodel")
except Exception as e:
sys.print_exception(e)
lcd_show_except(e)
finally:
gc.collect()總結
備賽期間，遇到很多困難，第一次搞影像分類，深度學習，也沒有往屆的學長的經驗，一步步從stm32，到openmv，再到樹莓派，以及最后確認的K210，一步步就像拓荒一樣，不斷發現，踩坑，但是還好有隊友陪著，有隊長們帶著一起往前走，還有家人們的鼓勵，一步步克服困難，最終成功登頂！這段日子里，不斷的模型訓練，無數的熬夜，遭遇瓶頸期，在最艱難的時候我沒有放棄，選擇迎難而上，即使與隊友發生口角，也不會影響我們為比賽的最終目標，懷著一切為了比賽的信念而勇往直前，有些事情，不是看到希望才去堅持，而是堅持了才能看到希望！也謹以此博客致敬一直陪伴熬夜的兄弟們！最后，兄弟們我們國賽清華見！
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/281710.html
標籤：其他
上一篇：ARM Neon學習資源整理