帶你了解3類預訓練語音模型預測方法

摘要：在調研多篇論文后，筆者發現預訓練語音模型的預測方法基本可以分為以下3類：<1>用前文預測當前及后文（自回歸）<2> 隨機mask 一些幀并預測 <3> 用兩側背景關系預測中間幀，

本文分享自華為云社區《預訓練語音模型調研小結》，作者： Hudson，

在調研多篇論文后，筆者發現預訓練語音模型的預測方法基本可以分為以下3類：<1>用前文預測當前及后文（自回歸）<2> 隨機mask 一些幀并預測 <3> 用兩側背景關系預測中間幀，下文會按照這三類來介紹預訓練語音模型的方法，

1.用前文資訊預測當前資訊及后文資訊

（1）CPC & Modified CPC

CPC（Contrastive Predictive Coding）[1] 是預訓練語音模型中較早提出的模型，它的模型架構如下圖所示，

首先，語音信號被分成段輸入到CNN模型，用于抽取特征，CNN層的輸出Z再作為GRU層的輸入，拿到帶有時序資訊的輸出C，然后用當前時刻t的帶有時序資訊的Ct（見過序列前面的資訊），來預測后續k個時刻的CNN層輸出Zt+k，Loss的是一個contrastive loss，它的公式如下圖所示，

這個loss看起來復雜，其實原理很簡單，就是想讓基于Ct的預測值更接近 Zt+k （分子），而更遠離其他的CNN層輸出Z，即negative sample （分母），最小化整體的loss，會使分子最大化，分母最小化，這就是CPC訓練的原理，

Modified CPC [2] 是對CPC的一個改進，其改進主要分成以下兩點：
<1> 由于batch normalization 會破壞sequence的資訊，他們用channel wise normalization替代batch normalization，
<2> 對模型的一些改進，包括將從Ct預測Zt+k的網路由linear layer替換成一層transformer；將CNN層的維度從512變為256 （memory小了但performance不變）; 用LSTM替換GRU，

（2）APC & VQ-APC

APC（Autoregressive Predictive Coding）[3] 以及它的改進，VQ-APC（Vector Quantization- Autoregressive Predictive Coding）[4] 也是一組基于自回歸的預訓練語音模型，它們的模型架構如下圖所示，APC沒有VQ-layer，而VQ-APC添加了一個VQ layer，

APC模型的輸入是80維的log Mel spectrogram 特征，其模型也十分簡單，就是一個3層的LSTM，訓練的loss如下圖所示，

這里我們可以看出，這就是一個簡單的L1 loss，但其中不同的是，它并不是同一時刻的xi和yi之間做L1 loss，而是用xi+n和yi之間做L1 loss，也就是說，它希望能用第i時刻的資訊去預測n個時刻后的資訊，這么做的原因是希望LSTM 不陷入Local information，從而可以infer 更多的全域資訊（global structure），

VQ-APC是在APC的基礎上加了一個VQ layer，VQ，向量量化，可以簡單的理解為對無限種可能的連續向量的一個聚類，讓語音的表征vector也變為有限種可能，類似于NLP中有限數量的單詞表征（一個單詞一個表征，單詞數量有限），實驗結果標明，在APC模型的LSTM層中間加入VQ layer會是最終學到的向量表征更好，在下游任務（如 phone classification； speaker classification）中表現出更好的性能，

2. 隨機mask一些幀并預測

（1）VQ-wav2vec & wav2vec2.0

前面介紹的4個模型都是基于自回歸的思想，用前文預測后文資訊，模型也是基于LSTM或者GRU模塊來實作，隨著transformer在越來越多的任務上被證實有更優越的性能，很多預訓練語音模型的研究人員也把目光投入到了transformer模型上，VQ-wav2vec [5] 就是其中一個較早的嘗試，下圖是VQ-wav2vec模型架構圖，

原始音頻片段首先輸入到CNN層提取特征，再做一個VQ，最后將VQ的output輸入下一個CNN層再進行一次特征的抽象，最后用CNN層在第i個時刻的輸出Ci來預測后面k個時刻VQ的輸出Zi+k，并做一個contrastive loss，目的是讓Ci能更好的預測Zi+k，而更遠離negative sample（不是Zi+k的其他Z），訓練完畢后，將VQ層的輸出作為后面BERT的輸入，隨機mask掉一些幀并預測，訓練一個BERT模型，得到擁有時序資訊的表征，最后將這個資訊作為聲學模型的輸入，進行下游任務，

上面的模型是把BERT和VQ-wav2vec單獨訓練的，先訓練VQ-wav2vec，再訓練BERT模型，而wav2vec2.0 [6] 對VQ-wav2vec整體框架進行了改進，將VQ-wav2vec模型和BERT模型放在一起做一個jointly training，達到了非常好的效果（目前的state-of-the-art），Wav2vec2.0的模型框架如下圖所示，

首先，音頻也是分段輸入CNN層提取特征，然后一方面輸入到VQ層，另一方面隨機mask掉一些幀然后輸入到Transformer層提取context representation C，訓練的loss如下圖所示，

Loss是兩部分loss的疊加，第一部分loss是contrastive loss，目的就是讓同一時刻的Context representation (Ct)與Quantized representation (Qt) 的similarity越大越好，Ct與其他時刻的Quantized representation的similarity越小越好，第二部分loss是diversity loss，這個loss是用于鼓勵各個codeword（VQ操作后的離散的類別vector，類似于NLP中的詞典中的一個詞）被使用的概率相同，訓練好模型后，context representation可以被用于做下游任務，

（2）Mockingjay & Audio Albert & TERA

除上述兩個模型外，還有一個系列的模型（均來自臺灣大學語音組）也是基于transformer模型，用隨機mask掉一些幀并預測的方式做語音模型的預訓練，第一個作業是Mockingjay [7]，其模型框架如下圖所示，首先，提取一些handcrafted feature（fMLLR, MFCC, FBank）并做random masking，然后經過下采樣后，輸入到transformer模型中，來預測mask掉的幀，并做L1 loss，

在Mockingjay模型的基礎上，Audio Albert模型 [8] 進行了些許改進，下圖是Audio Albert和Mockingjay模型的區別，可以看出，Audio Albert基于Mockingjay的改進，是把多層的transformer都共享引數，其他地方沒有任何區別，通過這樣的改進，效過和不共享引數接近（comparable），但是確可以顯著的降低引數量，

還有一個基于Mockingjay改進的模型 —TERA （Transformer Encoder Representations from Alteration）[9]，是在輸入端上，對輸入進行了一些alteration，從而達到提升預訓練模型效果的作用，下圖是TERA如何進行輸入的alteration的示意圖，Alteration主要分為3種，在時間維度上mask，在特征維度上mask，以及對于整個segment加一些高斯白噪聲，

3. 用兩側背景關系資訊預測中間幀

除上述兩種預訓練方式外，還有一種預訓練方式 – 用兩側的資訊預測中間幀的資訊，NPC（Non-Autoregressive Predictive Coding）[10] 模型就是用這種方式進行的預訓練，下圖為NPC的模型框架，

輸入是MFCC （80dim），但NPC模型訓練時，輸入模型的并不是整個sequence，它只需要輸入被mask掉的幀前后的一些幀（例如前后各10幀），而被mask掉的幀一般為3幀，Mask掉3幀而不是1幀，可以防止模型直接復制mask 點的相鄰點（xt-1，xt+1）的值作為當前時刻輸入xt的預測值，從而防止預測值yt并沒有相對于xt的資訊增益，被mask的input輸入模型后，經過幾層ConvBlock，每層ConvBlock也會mask中間的幀，且會層層遞增，目的是防止輸出yt見到任何mask size內的資料，經過幾層ConvBlock后的資料會加到一起得到ht（當前時刻做VQ之前的hidden representation），ht再經過一個VQlayer和一個linear layer，最后預測中間幀xt，loss用L1 Loss，這個模型的效果比autoregressive的模型都要好，況且可以顯著的減小模型的大小，

總結

預訓練語音模型是現在語音界十分熱門的一個科研方向，目前來看，基于transformer 的模型要好于早期基于LSTM或GRU的模型，若追求性能，那目前公認最好的預訓練語音模型應該是wav2vec 2.0，但如果追求速度，那Audio ALBERT，以及NPC模型都是不錯的選擇，這兩個模型能夠在保證comparable的性能的情況下，減小模型的大小并提升模型的速度，相信不久的將來，隨著深度學習技術的進一步發展，預訓練語音模型無論在性能，還是在速度上，都會迎來新的提升，

Reference

[1] Oord, Aaron van den, Yazhe Li, and Oriol Vinyals. “Representation learning with contrastive predictive coding.” arXiv preprint arXiv:1807.03748 (2018).

[2] Riviere, Morgane, et al. “Unsupervised pretraining transfers well across languages.” ICASSP 2020-2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2020.

[3] Chung, Yu-An, et al. “An unsupervised autoregressive model for speech representation learning.” arXiv preprint arXiv:1904.03240 (2019).

[4] Chung, Yu-An, Hao Tang, and James Glass. “Vector-quantized autoregressive predictive coding.” arXiv preprint arXiv:2005.08392 (2020).

[5] Baevski, Alexei, Steffen Schneider, and Michael Auli. “vq-wav2vec: Self-supervised learning of discrete speech representations.” arXiv preprint arXiv:1910.05453 (2019).

[6] Baevski, Alexei, et al. “wav2vec 2.0: A framework for self-supervised learning of speech representations.” arXiv preprint arXiv:2006.11477 (2020).

[7] Liu, Andy T., et al. “Mockingjay: Unsupervised speech representation learning with deep bidirectional transformer encoders.” ICASSP 2020-2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2020.

[8] Chi, Po-Han, et al. “Audio albert: A lite bert for self-supervised learning of audio representation.” 2021 IEEE Spoken Language Technology Workshop (SLT). IEEE, 2021.

[9] Liu, Andy T., Shang-Wen Li, and Hung-yi Lee. “Tera: Self-supervised learning of transformer encoder representation for speech.” IEEE/ACM Transactions on Audio, Speech, and Language Processing 29 (2021): 2351-2366.

[10] Liu, Alexander H., Yu-An Chung, and James Glass. “Non-autoregressive predictive coding for learning speech representations from local dependencies.” arXiv preprint arXiv:2011.00406 (2020).

點擊關注，第一時間了解華為云新鮮技術~