舞蹈作為一種表演藝術，需要由受過專業訓練的舞者在音樂的伴奏下有節奏地完成一系列高難度動作，對舞者肢體的協調性和舞蹈動作的表現力要求極高，對機器學習模型來說則更具有挑戰性，因為這項運動需要高度復雜的連續運動能力，同時還要捕捉動作和伴奏之間的非線性關系，
9 月 13 日，軟體工程師 Shan Yang 及科學家 Angjoo Kanazawa 發布博客稱已開源 3D 舞蹈生成模型 FACT，
其實早在今年 3 月份的 ICCV 2021 會議上，Shan Yang 和 Angjoo Kanazawa 就已經發表過名為《AI Choreographer : Music-Conditioned 3D Dance Generation with AIST++ 》的論文，其中提到 full-attention cross-modal Transformer(FACT) 可以模仿和理解舞蹈動作，甚至還能夠提高個人的編舞能力，隨之一起發布的還有一個大規模的多模態 3D 舞蹈動作資料集 AIST++，這個資料集中包含了 1408 個序列中 5.2 個小時的 3D 舞蹈動作，涵蓋 10 種舞蹈型別（Break、Pop、Lock、Waack 等），每種型別都包含攝像機拍攝的多視圖視頻，如下圖所示，
在 AIST++ 中，每個框架都包含廣泛的注釋：
- 9 個攝像頭內參和外參視圖；
- 17 個 COCO 格式的人體關節位置，包含2D和3D；
- 24 個 SMPL 姿態引數以及全域縮放和平移；
這些動作平均分布在 10 種舞蹈型別中，還擁有各種不同節拍 (BPM) 的音樂伴奏，而且每種舞蹈型別都包含 85% 的基本動作及 15% 的高級動作，
AIST 記錄了多個舞者在同一舞種下根據不同的伴奏所做出的表演，這為跨模態序列到序列的生成提出了一個嚴峻的挑戰，因為模型需要學習音頻和動作之間的一對多映射，
利用以上資料，可以訓練 FACT 模型從音樂中生成 3D 舞蹈，該模型首先使用單獨的運動和音頻變壓器對種子運動（seed motion）和音頻輸入（audio inputs）進行編碼，然后將嵌入連接起來發送到一個跨模態變壓器，該變壓器學習兩種模態之間的對應關系并生成 N 個未來運動序列，然后再用這些序列以自監督的方式訓練模型，所有三個變壓器都是通過端到端共同學習的，在測驗時，將該模型應用于自回歸框架，其中預測的運動作為下一代步驟的輸入，因此，FACT模型能夠逐幀生成一長段的舞蹈動作，
以下幾點對于從音樂中生成 3D 舞蹈至關重要：
- 所有的轉換器都使用 full attention mask，這比典型的因果模型更具有表現力，因為 internal tokens 可以訪問所有輸入；
- 這個模型能預測當前輸入之外的 N 個未來，而不僅僅是下一個動作，更多地關注時間背景關系，有助于防止模型在幾代步驟后運動僵硬；
- FACT 早期融合了兩種嵌入(動作和音頻)，并使用了一個12層的跨模態轉換器模塊，這對于訓練一個真正關注輸入音樂的模型至關重要；
綜上，FACT 不僅可以學習音頻與運動之間的對應關系，還能以音樂為條件生成高質量 3D 舞蹈，目前這仍然是一個新興領域，還需要更多深入的研究，感興趣的同學可以點擊了解詳情，
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/300678.html
標籤：AI