使用Azero遠程語音控制機械臂
一、框架介紹
這里分為三個部分：控制設備端、服務端、執行部分（機械臂），
- 控制設備端：RTOS、Android、Linux、iOS、Windows 等主流系統和平臺均已支持，這些設備既可以作為控制端的入口，也可作為被控制的 IoT 設備，這里采用音箱作為語音采集控制設備，
- 服務端：技能的開發和部署屬于這一部分，開發者創建意圖、技能、IoT設備來完成控制鏈路的打通，其中意圖就是說控制資訊的關鍵資訊；技能為自己開發的傳達指令程式，可作為私有技能僅供自己設計的產品使用，也可開放成公有技能供其他使用者配置呼叫； IoT 設備主要指接入到網路的物聯網設備，這里就是機械臂在云端的虛擬，
- 設備端，也就是機械臂，
在本次的專案中通過這三個部分的打通成功實作語音控制機械臂進行動作，
實作步驟：
為機械臂與上位機相連并且上位機聯網后，通過控制設備輸入語音信號-> Azero服務端分析語音信號并判斷出對應的意圖 -> 傳指令到上位機 -> 由上位機實作對機械臂的寫字控制，
二、機械臂部分
1、連接方式
機械臂部分包括三個部分，機械臂與控制機相連、控制機與上位機相連都需要有線連接，
控制機與上位機的連接通過網線進行連接，連接方式如上圖所示通過有線網路進行資料傳輸，
2、實作方式
主要是通過這幾個部分功能實作，將文字的筆畫進行分解，分解成一步一步的動作用gcode形式存盤，將這些指令決議，決議為控制機械臂運動的moveit指令，控制機械臂執行指令就可以實作文字的書寫，將實作這些功能的陳述句事先寫好放在run.py檔案中，在接收到服務端傳入的命令后，執行這些動作，完成，
3、可實作的功能
目前可通過語音控制進行文字書寫，而通過使用不同文字對應的gcode就可以書寫任意文字和任意想要的字體，都可以使用語音進行控制，目前還在進一步的開發中，將常用的文字編輯進入字庫中后將能實作語音控制書寫任意文字，
三、云端部分
為了達到遠程控制的效果，整個的控制鏈路為“通過控制設備輸入音頻-> 服務端分析音頻并判斷技能和意圖 -> 傳指令到機械臂-> 機械臂執行動作”，這樣除了機械臂執行的部分，在相應的服務端也要生成相應的指令，例如寫字，
技能配置
IoT設備配置
這部分可以在Azero開發網站完成，具體實作可參考：
https://document-azero.soundai.com.cn/iot/docs/
https://github.com/sai-azero/Azero_control_robot_demo
四、最終效果
視頻鏈接
五、討論
有任何的點子或者疑問，歡迎來論壇進行討論
http://bbs.soundai.com.cn/forum.php?mod=forumdisplay&fid=39
六、其它參考
https://cloud.tencent.com/developer/article/1709348
http://blog.hubwiz.com/2021/06/26/g-code-tutorial/
http://moveit2_tutorials.picknik.ai/doc/getting_started/getting_started.html
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/291273.html
標籤：其他
上一篇：自然語言處理入門