華為開發者大會2022（HDC）上，HMS Core手語數字人以全新形象亮相，并在直播中完成了長達3個多小時的實時手語翻譯，向線上線下超過一千萬的觀眾提供了專業、實時、準確的手語翻譯服務，為聽障人士提供了無障礙參會體驗，面對專業性強且詞匯量大的科技大會，HMS Core手語數字人是如何準確且流暢地打出手語的？
【解決三大技術難題，科技詞匯信“手”拈來】
直播中的實時手語翻譯較傳統翻譯和文本轉手語的翻譯更為復雜，主要在于語音識別程序中各類場景聲學環境復雜難部署；手語詞匯資料量少，尤其是專業領域詞匯較為匱乏；同時，手語語言具有獨特的語序邏輯，并非按照日常說話順序逐字翻譯，而要對陳述句進行語序調整，比如“我有許多朋友，其中既有健聽人，也有聾人”的手語語序是“我/朋友/多，聽人/有，聾1/有”，由于手語視覺語言的獨特性，手語表達中表情、動作位置、動作方向、體態變化、動作幅度大小等都是影響手語可懂度的重要因素，
“我有許多朋友，其中既有健聽人，也有聾人，”的手語語序是
“我/朋友/多，聽人/有，聾1/有，”
為了讓手語數字人實作高可懂度的AI手語能力，HMS Core手語服務技術團隊整合了“語音、手語”全鏈路的AI能力，解決了三大技術點：語音識別的準確度、手語翻譯的準確度、手語動作的流暢度與節奏感，
首先，為了確保直播中演講者語音能被精準識別，尤其是大量中英文混合的技術名詞，HMS Core手語數字人語音識別功能，采用動態的流式聲學建模技術，實作了1秒以內即可出識別結果，同時借助熱詞等定制手段，專業術語的識別效果也得到了定向優化，這為手語數字人下一步的手語翻譯提供了高精準度的文本基礎，
在手語翻譯準確度方面，HMS Core手語服務專門組織了一個動作優化團隊，并在機器翻譯、手語轉寫等演算法方面進行了創新：通過機器翻譯演算法，中文表達可快速轉寫為手語表達，并自動進行詞序調整、詞義消歧、表情分析；通過雙重遷移學習等方法，讓演算法理解句子的語意和語境，并準確估計出每個手語詞對應的體態、表情及口型，實作手語動作、體態、表情、口型全方位地生動表達，有效提升手語轉寫的準確率及速度，
此外，手語生成方案融合了大量手語語言學研究成果，通過調整詞、詞組、句子之間的停頓及速度等，增強節奏感，同時，參考新聞手語主播的手語打法，預訓練模型的陳述句濃縮演算法，可將復雜的長句濃縮為簡單的短句，并基于語意進行翻譯，最終生成流暢且符合聽障人士表達習慣的手語動作，
對于在HDC大會上常用的科技詞匯“華為”，“鴻蒙”及“人工智能”等，其標準打法已納入HMS Core手語詞匯庫，而對于大會上“原子化服務”等較少見的組合型專業詞匯，則按字面意思將其拆解成“原子”“化”“服務”三個手語動作，同時生成對應的口型，
【產品競爭力躍升，從技術創新到產業應用】
HMS Core手語服務經過一年多的發展和技術迭代，目前已支持2萬+中文手語詞匯，匹配日常溝通交流、新聞、教育、政務辦理等豐富場景，當前手語數字人不僅能流暢地打出手部動作，還有豐富的表情和準確的口動，從微笑、開心到驚訝、疑惑、失望等，多達26種表情，靈動又逼真，做到了“聽得準”、“翻得對”、“打得好”，更好地為保障聽障者的社會參與提供了助力，
目前，HMS Core手語服務已攜手音書、知音、暢聽無礙、開普云、棉花糖科技、未來媒體、硅基智能等眾多開發者，成功將AI手語翻譯能力應用在各行各業，完善了無障礙環境建設，暢聽無礙app，通過集成HMS Core手語服務，在應用內實作了AI手語翻譯功能，讓聽障人士隨需隨用，滿足他們在日常生活中溝通交流、學習娛樂的需求，同時還能幫助他們在政府、醫療、金融、法律等專業公共服務領域實作無障礙交流，
HMS Core手語服務的應用將不斷助力開發者搭建更好的無障礙傳播環境，幫助聽障者更好地享受資訊化發展成果，為他們帶來更多陪伴、更多實時互動以及更深的情感聯結，未來，HMS Core手語服務，將持續踐行“科技，不讓任何一個人掉隊”，與廣大開發者伙伴一起，助力構建數字生態，讓無障礙體驗惠及更多人，如需進一步了解，請訪問HMS Core手語服務，
了解更多詳情>>
訪問華為開發者聯盟官網
獲取開發指導檔案
華為移動服務開源倉庫地址：GitHub、Gitee
關注我們，第一時間了解 HMS Core 最新技術資訊~
轉載請註明出處，本文鏈接：https://www.uj5u.com/yidong/538421.html
標籤：其他
上一篇：HDC2022的無障礙參會體驗，手語服務是如何做到的？
下一篇：一張VR影像幀的生命周期