論文：Learn to Dance with AIST++: Music Conditioned 3D Dance Generation
資料集：https://google.github.io/aistplusplus_dataset/
提出了一個基于Transformer的學習框架，用于基于音樂的3D舞蹈生成，設計了一個全新的網路框架，并驗證得出獲得高質量結果的關鍵，其中組件之一是深度跨模transformer，可以很好地學習音樂和舞蹈運動之間的相關性，并且具有 future-N 機制的全注意力在產生長距離 non-freezing 運動中至關重要，
AIST++ 資料集
我們提出了一個名為AIST++的成對3D運動和音樂的新資料集，我們從AIST多視點舞蹈視頻中重建該資料集，AIST++是一個大型的3D人體舞蹈動作資料集，包含各種各樣的3D動作搭配音樂，
AIST++提供了 10.1M 張影像的 3D 人體關鍵點標注和相機引數，涵蓋 9 個視角的 30 個不同主體，以此成為現有的最大、最豐富的三維人體關鍵點標注資料集，
AIST++包含了 1408 個三維人體舞蹈運動序列，以 joint rotations 和 root trajectories 一起的形式表示，舞蹈動作平均分布在 10 個舞蹈流派和數百個編排中，動作持續時間從7.4秒到48.0秒不等，所有的舞蹈動作都有相應的音樂，
AIST++與其他資料集的比較，在長度方面，我們的AIST++資料集排名第三，在動作方面，我們的AIST++資料集有10種不同型別的舞蹈動作伴隨音樂，Human3.6M第二大資料集[36]，只有簡單的行走，坐下等動作，
AIST++資料集10種3D人體舞蹈動作，
結果：與兩種基線方法相比，我們的模型產生的運動更真實，與輸入音樂的相關性更好，并在不同的音樂條件下更多樣化，*注意Li等人[51產生的運動是高度緊張的，使其速度變化非常高，
僅作分享，不代表本號立場，侵權聯系洗掉
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/251998.html
標籤：其他
上一篇：我在華為OD的275天