博客作者：凌逆戰

論文地址：基于GAN的音頻超解析度

博客地址：https://www.cnblogs.com/LXP-Never/p/10874993.html

 論文作者：Sefik Emre Eskimez , Kazuhito Koishida

摘要

　　語音超解析度(SSR)或語音帶寬擴展的目標是由給定的低解析度語音信號生成缺失的高頻分量，它有提高電信質量的潛力，我們提出了一種新的SSR方法，該方法利用生成對抗網路(GANs)和正則化（regularization）方法來穩定GAN訓練，生成器網路是有一維卷積核的卷積自編碼器，沿時間軸運行，輸入低頻對數功率譜產生高頻對數功率譜，我們使用兩種最新的基于深度神經網路(DNN)的方法與我們提出的方法進行比較，包括客觀的語音質量度量和主觀的感知測驗，結果表明，該方法在客觀評價和主觀評價方面均優于基線方法，

關鍵字：生成對抗性網路，語音超解析度，人工語音帶寬擴展

1、引言

　　語音增強是語音處理領域研究的熱點問題之一，語音增強的主要目的是提高輸入語音信號的質量和可懂度，大部分的作業在這一領域關注消除背景噪音或混響,其中一些關注生成丟失的高頻內容增加語音信號的解析度,也就是文獻中說的人工語音帶寬擴展或語音超解析度(SSR)，在本文的剩下部分中，我們將這個問題稱為SSR，

　　SSR在許多實際場景中都有應用，并具有改善人們生活質量的潛力，一個典型的例子是公共交換電話網(PSTN)，它的帶寬仍然被限制在一個窄帶(300-3400 Hz)，在的研究中[1]表明，與窄帶相比，用戶更喜歡高解析度的語音信號，Kepler等人指出[2]，窄帶語音對聽力受損人群在通過電話交流時具有困難性，在另一項研究中，Liu等人的表明[3]，認為的將解析度從窄帶提高到寬帶(高達8 kHz)，可以提高人工耳蝸使用者的語音識別率，

　　本文介紹了一種采用對抗性訓練的語音超分辨神經網路和一種正則化方法來穩定對抗性訓練，我們的靈感來自于對單個影像和視頻超解析度的對抗性訓練的成功，該生成器是一個以對數功率譜圖(LPS)為輸入，生成相應范圍高頻LPS的序列到序列卷積自編碼器網路，這項作業是第一作者在微軟研究院實習時完成的，卷積層中的濾波器是一維的，它們沿譜圖的時間軸運行，采用一維核函式，降低了訓練和推理的計算復雜度，該系統重量輕，在移動設備和消費者級cpu上具有實時處理能力，訓練程序如下：首先，我們在幾個epoch(周期)內僅僅訓練reconstruction（重構）損失來初始化生成器網路，然后，在加權重構損失的基礎上，利用對抗性損失對框架進行訓練，在GAN訓練程序中，為了穩定辨識程序，我們在鑒別器損失中加入加權梯度penalty(懲罰），我們使用語音技術研究中心(CSTR)的語音cloning(克隆)工具包(VCTK)語料庫[4]來訓練我們的系統，為了確定對未知說話人和語音條件的魯棒性，我們使用與我們的訓練集完全不同的資料集(即華爾街日報語料庫(WSJ0)[5])來評估我們的系統，我們將我們的方法與基線進行比較[6,7]，結果表明，該方法在客觀評價和主觀評價方面均優于基線方法，一組例子可以公開獲得，

　　論文的其余部分組織如下:第2節介紹了相關作業，第三部分概述了系統概況，神經網路框架，在第四部分，我們描述了實驗的細節，并給出了客觀和主觀的評價結果，第五部分是本文的結論，

1、相關作業

　　早期的作業主要是估計語音信號的頻譜包絡，并對窄帶到寬帶信號的映射進行建模，這些作業依靠高斯混合模型(GMMs)[8 10]、隱馬爾可夫模型(HMMs)[11 14]、神經網路(NNs)[6,7,15 17]來學習窄帶和寬帶信號之間的傳遞函式，最近，基于深度學習的方法[6,7]優于這些方法，

　　Li等人提出了一種DNN來從窄帶的LPS預測寬帶的對數功率譜(LPS)，為了人為地創建缺失的相位資訊，他們將低頻頻段的相位翻轉為高頻頻段的相位，重構時域信號，他們證明了他們的方法優于基于GMM的方法，Kuleshov等人提出直接使用原始波形，并引入端到端網路，他們使用了一個具有均方誤差(MSE)目標函式的卷積自編碼網路，與基于信號處理的方法相比，由于沒有預處理，該方法的實作更加直觀，但是，它的計算開銷很大，可能不適合在邊緣設備上運行，

　　生成對抗網路(GANs)[18]在影像、視頻和語音生成任務中表現出強大的功能，GANs本質上是一個零和博弈，包含多個神經網路，通常是一個生成器和一個鑒別器，生成器試圖通過生成虛假但真實的資料來欺騙鑒別器，而鑒別器則試圖區分真實資料和虛假資料，雖然GANs取得了令人印象深刻和現實的結果，但它們在訓練[19]時存在不穩定性，研究人員通過引入正則化來穩定GAN框架[19 23]，其中一些正則化方法對梯度的范數進行了懲罰，以穩定訓練[19,21,23]，

　　GANs已成功應用于影像和視頻的超解析度[24,25]，由于譜圖類似于影像或視頻幀，這些研究激勵我們研究語音超解析度背景下的對抗性網路，

　　Li等人最近提出了一種基于對抗性訓練的語音帶寬擴展方法，他們的神經網路(NN)通過線譜頻率（LSF）、delta LSF和低頻段信號的語音能量來預測高頻段的線譜頻率(LSF)和語音能量(HB)，生成器和鑒頻器是四層完全連接的神經網路，利用預測的語音引數，采用EVRC-WB框架[27]和合成濾波器組 合成高解析度語音信號，我們的方法和[26]都使用了GAN框架進行SSR，然而，我們的方法直接生成語音譜圖，并使用正則化方法來穩定GAN訓練，而[26]使用估計LSF和能量引數的合成框架來合成語音，

3、提出的方法

　　下面，我們將描述我們的系統在推理程序中是如何作業的，設x為窄帶語音的時域波形，首先對x進行短時傅里葉變換(STFT)，然后由x計算對數功率譜圖(LPS)$X^{NB}$和相位譜圖$X_P$，將原始窄帶和預測的高頻LPSs連接(concatenated)起來，得到估計的寬帶LPS $X^{SR}$，我們還預測了窄帶譜圖的最高C頻率bins，其中C為offset(偏移)引數，在級聯程序中，將小于C頻率bin的窄帶譜圖與預測的高頻范圍進行級聯，這樣，我們就避免了連接處的不連續[6]，我們跟隨Li等人的[6]，通過翻轉窄帶相位并還原信號來創建一個人工相位，對于2x超解析度版本，我們將這個翻轉相位與窄帶相位連接起來，得到整個寬帶信號的人工相位$\hat{X}_P$，對于4x超解析度版本，我們重復翻轉相位三次，最后，利用估計寬帶LPS $X^{SR}$和人工相位$\hat{X}_P$的逆STFT，采用overlap-add(疊加疊加法)對時域信號進行重構，系統概述如圖1所示

圖1：測驗期間提出的語音超分辨(SSR)系統概述，將短時傅里葉變換(STFT)應用于時域信號x，得到了對數功率譜(LPS) $X^{NB}$和相位譜$X_P$，將窄帶(NB) LPS $X^{NB}$fed to(饋入)SSR-GAN，得到估計高頻(HF)范圍LPS，并將其連接到NB LPS上，得到寬帶(WB) LPS $\hat{X}^{SR}$，通過翻轉和重復NB相位$X_P$，加上一個負號，人為地產生HF范圍的相位，最后，利用估計的WB LPS和人工相位，通過逆STFT (ISTFT)和疊加重建時域信號$\hat{y}$，

3.1  網路體系結構

　　該生成器是一個（序列到序列）sequence-to-sequence的模型，它接受T個時間步長的窄帶LPS，輸出帶T個時間步長的高頻范圍LPS，我們使用[7]中描述的常見瓶頸自動編碼器架構，卷積核是一維的，它在LPSs的時間軸上運行，與2D內核相比，計算成本要低得多，允許在cpu和移動設備上實時處理網路，我們在卷積層之后使用batch normalization（批標準化(BN)）層，然后是斜率為0.2的LeakyReLU激活函式，輸出層除外，在輸出層中我們使用線性激活，而不使用BN層，我們使用[28]中引入的sup-pixel(亞像素)(或pixel shufle(像素洗牌))層進行向上采樣，這對于影像和視頻的超解析度非常有用，

　　該鑒別器包括三個卷積層，然后是兩個全連接層(FC)，我們使用LeakyReLU激活，除輸出層外，所有層的斜率為0.2，在輸出層中我們使用線性激活函式，由于BN層在鑒別器網路訓練程序中會導致訓練的不穩定性，尤其是當鑒別器損失正規化時[19,23]，我們不使用BN層，鑒別器網路接收連接的窄帶和高頻范圍LPSs作為輸入，高頻范圍LPS可以直接來自于資料分布，也可以由生成器網路產生，這兩種網路架構的詳細資訊如表1所示，

表1:提出的網路架構的詳細引數，K和N分別為沿頻率軸的窄帶和高頻范圍LPS尺寸，對于2x和4x超解析度尺度，K分別為129和65，對于2x和4x的超解析度尺度，N分別為141和199，

圖2:提出的生成器(中)和鑒別器(右)的網路結構，每個矩形塊都是一個卷積層，結構顏色編碼并在左側子圖中詳細顯示，符號:BN ：批次歸一化層、FC ：全連接層、LReLU：LeakyReLU激活層、PShuffle：pixel shuffle或sub-pixel層、LPS：對數功率譜，

3.2  訓練目標函式

　　首先，我們初始化生成器，在僅有重構損失時訓練幾個周期，生成器通常初始化訓練后生成過于平滑的結果，為了獲得更清晰、更詳細的LPSs，我們在重構損失的基礎上改用對抗性損失(GAN損失)，我們使用對數光譜距離(LSD)(或對數光譜失真)函式作為訓練目標，LSD測量兩個頻譜之間的距離(以分貝為單位)，其數學定義如下

$$公式1：l_{LSD}=\frac{1}{L}\sum_{l=1}^{L}\sqrt{\frac{1}{K}\sum_{k=1}^{K}[X^{HR}(l,k)-X^{SR}(l,k)]^2}$$

　　其中K為頻率bin數，$X^{HR}$和$X^{SR}$分別為ground tuth和估計LPSs，

　　原始的生成式對抗網路(GAN)是一個生成器和一個鑒別器之間的零和博弈(極小極大)，我們在SSR的背景關系中對這個問題進行了闡述，其定義如下

$$公式2：\begin{matrix}
\min_{\theta }\max_{\psi }E_P[\log D_{\psi}(X^{HR})]+E_Q[\log (1-D_{\psi}(G_{\theta}(X^{NB})))] \\
P:X^{HR}~p(X^{HR})\\
Q:X^{NB}~p(X^{NB})
\end{matrix}$$

其中$X^{HR}$是高解析度資料（真實資料），$X^{NB}$是窄帶資料，$G_{\theta}(·)$是生成器，$G_{\psi }(·)$是鑒別器，其中$\theta$和$\psi$是可訓練引數，$P$是真實資料的分布，$Q$是窄帶資料的分布，發生器$(G_{\theta}(·))$處理窄帶和高帶頻譜的串聯，這個符號可以簡化如下：

$$公式3：\min_{\theta }\max_{\psi }E_P[\log {\varphi}_R]+E_Q[\log (1-{\varphi}_F)]$$

其中${\varphi}_R$和${\varphi}_F$分別是真偽資料的鑒別器輸出，

為了穩定GAN訓練，我們對[23]中描述的判別器的加權gradient-norms(梯度規范)進行了懲罰，正則化項描述為

$$公式4：\Omega =E_P[(1-\varphi_R)^2||\bigtriangledown \phi_R||^2]+E_Q[\varphi_F^2||\bigtriangledown \phi _F||^2]$$

我們將這一項加到鑒別器的目標函式中，如下:

$$公式5：l_{DIS}=E_P[\log \varphi_R]+E_Q[\log(1-\varphi _F)]-\frac{\gamma }{2}\Omega $$

其中為正則化項的權值，

生成器損失為重構損耗和GAN損失的加權和，定義如下

$$公式6：l_{GEN}=E_Q[-\log (D_\varphi(G_{\theta}(X^{NB})))]+\lambda l_{LSD}$$

其中，$l_{LSD}$為式1中描述的目標函式，為LSD損失的權重引數，

4、實驗

　　我們使用CSTR語音cloning工具包語料庫(VCTK)來訓練我們的網路，它最初是為訓練文本到語音(TTS)合成系統而設計的，錄音為16位WAV檔案，采樣率為48khz，語音清晰，共有109名不同口音的英語人士，每個人說400個句子，我們使用六個隨機的說話人的語音作為驗證集，并使用其余的語音作為訓練資料集，為了創建訓練對，我們將[29]中描述的帶限sinc插值方法處理高解析度信號，以獲得下采樣版本，

　　為了評估我們的網路的泛化能力，我們使用了華爾街日報語料庫(WSJ0)資料集來進行評估，它與VCTK語料庫的說話者和語音條件不同，錄音采樣率為16khz，其中包含自然背景噪聲，在我們的客觀評估中，我們使用了5000個樣本(大約12小時)的隨機子集，

　　我們的網路僅使用LSD損失(式1)進行50個epoch的訓練，學習率為$10^{-4}$，使用GAN + LSD損失(式6)進行另外100個epoch的訓練，學習率為$10^{-5}$，我們通過實驗確定了周期數，我們的輸入和輸出頻譜的time-steps(時間步長)被設定為32，我們使用Adam 優化器來訓練生成器網路，使用RMSProp優化器來訓練識別器網路，其mini-batch(小批處理)大小為64，將輸入輸出LPSs歸一化為零均值和單位方差；我們從訓練資料中計算出這些統計資料，并將其應用于推理，表1所示的K變數對于2x實驗為129，對于4x實驗為65，頻率偏移量按下式計算

$$公式7：floor(\frac{K}{10})+1$$

其中K為輸入頻譜中頻率bin數，表1所示的N變數在2x和4x超解析度尺度下分別設定為141和199，我們將方程5所示的變數$\gamma$設為2，

　　我們從第2節中描述的現有作業中采用了兩種基線方法，第一個基線是基于STFT的方法[6]，在本文的其余部分中我們將其命名為$BL1$，由于這項作業只考慮了2x SSR，所以我們沒有實作4x SSR版本，第二個基線是基于原始波形的方法[7]，在本文的其余部分中我們將其命名為$BL2$，我們采用了作者提供的代碼來重現2x和4x SSR的結果，我們將提議的方法命名為SSR-GAN，

4.1 客觀指標

我們采用式1中定義的LSD，分段信噪比(segmental signal to noise ratio, SegSNR) [30]，和語音質量感知評價(PESQ)[31]客觀指標，以評價和比較我們的方法與基線方法，這些指標廣泛應用于語音增強和SSR作業，PESQ測量的是語音質量，由國際電信聯盟電信標準化部門(ITU-T)標準化，分段信噪比(SegSNR)是音頻樣本段上的信噪比均值，定義如下

$$SegSNR=\frac{1}{L}\sum_{l=1}^{L}10\log \frac{\sum_{n=1}^{N}[x(l,n)]^2}{\sum_{n=1}^{N}[x(l,n)-\hat{x}(l,n)]^2}$$

其中L為段數，N為語音中的資料點數，對于SegSNR和PESQ，值越高越好；對于LSD，數值越低越好，

4.2 結果

　　客觀評價結果如表2所示，我們的方法在2x和4x SSR任務中都優于基線，在所有三個客觀評價指標方面都有很好的優勢，與$BL1$相比，LSD值提高了約1.1 dB，對于SegSNR，改進大約是3.9 dB，PESQ略有改善，約為0.1，與$BL2$相比，我們的方法在4x設定下的改進更為明顯，LSD對高頻范圍和全頻譜的改善分別為3.3 dB和4.7 dB左右，SegSNR提高了4.7 dB左右，與2x量表相比，PESQ明顯提高，約為0.5，

表2：2x和4x SSR實驗的客觀評價結果，我們的方法(SSR-GAN)在所有指標上都優于基線，LSD HF為僅在高頻范圍計算的LSD值，其中LSD Full為整個頻譜計算的LSD值，

　　圖3為示例譜圖，其中第一行為ground truth高頻范圍語譜圖，第二行為僅經過LSD損失訓練的神經網路得到的高頻范圍語譜圖，第三行分別為2x和4x的SSRGAN結果，注意，第二行上的LPSs過于平滑，經過GAN訓練(第三排)，效果更加清晰，細節更加精細，精力更加充沛，

圖3:給出了2x和4x的光譜圖示例，這些樣本是從WSJ0語料庫中隨機抽取的，第一行是ground truth高頻范圍語譜圖，第二行和第三行顯示了只訓練LSD損耗(第二行)和同時訓練LSD和GAN損耗(第三行)的提出的網路生成的高頻范圍語譜圖，

4.3 主觀的評價

　　我們進行了主觀評估，以測驗我們的方法與基線和ground truth資料在人類感知方面的比較，我們生成了兩個測驗集，每個測驗集包含40個句子，每個句子的縮放分別為2x和4x，包括窄帶信號、ground truth高解析度信號、預測超解析度信號和基線，我們想把每個專案的測驗時間限制在30分鐘之內；因此，我們對每個解析度縮放只使用基線方法之一的樣本，對2x和4x分別使用[6]和[7]，共有20名志愿者，他們每人評估了80個樣本，每個志愿者都通過聽5對低解析度和ground truth高解析度的語音，將測驗樣本隨機呈現給志愿者，每個樣本的得分在0到100之間，其中0代表低解析度信號，100代表高解析度信號，

　　2x和4x縮放實驗結果如圖4所示，ground truth高分辨語音的得分為80.79%，其次是我們的方法，得分為70.72%，低解析度信號和$BL1$的得分較低，分別為21.75%和34.52%，由于SSR-GAN評分接近高解析度信號，我們可以得出結論，在2x尺度下，SSR-GAN可以在語音質量上說服聽眾，并且可以優于基線方法，4x實驗更具挑戰性，與2x實驗相比，缺失的相位資訊更加明顯，高解析度分數與SSRGAN之間的差距約為32%，SSR-GAN仍然可以超過基線方法，并且有超過50%的得分，

圖4：2x和4x量表的主觀測驗結果，

5 結論

　　在這項作業中，我們提出了一種新的方法，利用對抗性訓練語音超解析度任務，通過客觀和主觀評價，我們的方法優于基于DNN的基線方法，主觀評價表明，對于2倍解析度的尺度，我們的方法可以得到接近地面真實的高解析度信號，對于4倍解析度的尺度，我們的方法可以獲得較好的性能，該方法計算量小，能夠在邊緣設備上實時運行，我們未來的作業包括利用頻譜估計相位資訊，

6 參考文獻

[1] ITU, “Paired comparison test of wideband and narrowband telephony,” in Tech. Rep. COM 12-9-E. Mar. 1993.
[2] Laura Jennings Kepler, Mark Terry, and Richard H Sweetman, “Telephone usage in the hearing-impaired population.,” Ear and hearing,
vol. 13, no. 5, pp. 311–319, 1992.
[3] Chuping Liu, Qian-Jie Fu, and Shrikanth S Narayanan, “Effect of bandwidth extension to telephone speech recognition in cochlear implant users,” The Journal of the Acoustical Society of America, vol. 125, no.2, pp. EL77–EL83, 2009.
[4] Christophe Veaux, Junichi Yamagishi, Kirsten MacDonald, et al.,“Cstr vctk corpus: English multi-speaker corpus for cstr voice cloning toolkit,” University of Edinburgh. The Centre for Speech Technology Research (CSTR), 2016.
[5] John Garofalo, David Graff, Doug Paul, and David Pallett, “Csr-i(wsj0) complete,” Linguistic Data Consortium, Philadelphia, 2007.
[6] Kehuang Li and Chin-Hui Lee, “A deep neural network approach to speech bandwidth expansion,” in Acoustics, Speech and Signal Processing (ICASSP), 2015 IEEE International Conference on. IEEE,2015, pp. 4395–4399.
[7] Volodymyr Kuleshov, S Zayd Enam, and Stefano Ermon, “Audio super resolution using neural networks,” arXiv preprint arXiv:1708.00853,2017.
[8] Kun-Youl Park, “Narrowband to wideband conversion of speech using gmm based transformation,” in IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP). IEEE, 2000, pp.1843–1846.
[9] Samir Chennoukh, A Gerrits, G Miet, and R Sluijter, “Speech enhancement via frequency bandwidth extension using line spectral frequencies,” in Acoustics, Speech, and Signal Processing, 2001. Proceedings.(ICASSP’01). 2001 IEEE International Conference on. IEEE,2001, vol. 1, pp. 665–668.
[10] Hyunson Seo, Hong-Goo Kang, and Frank Soong, “A maximum a posterior-based reconstruction approach to speech bandwidth expansion in noise,” in IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2014, pp. 6087–6091.
[11] Peter Jax and Peter Vary, “Artificial bandwidth extension of speech signals using mmse estimation based on a hidden markov model,” in IEEE International Conference on Acoustics, Speech, and Signal Processing(ICASSP). IEEE, 2003, vol. 1, pp. I–I.
[12] Guo Chen and Vijay Parsa, “Hmm-based frequency bandwidth extension for speech enhancement using line spectral frequencies,” in Acoustics,Speech, and Signal Processing, 2004. Proceedings.(ICASSP’04).IEEE International Conference on. IEEE, 2004, vol. 1, pp. I–709.
[13] Patrick Bauer and Tim Fingscheidt, “An hmm-based artificial bandwidth extension evaluated by cross-language training and test,” in Acoustics, Speech and Signal Processing, 2008. ICASSP 2008. IEEE International Conference on. IEEE, 2008, pp. 4589–4592.
[14] Geun-Bae Song and Pavel Martynovich, “A study of hmm-based bandwidth extension of speech signals,” Signal Processing, vol. 89, no. 10,pp. 2036–2044, 2009.
[15] Bernd Iser and Gerhard Schmidt, “Neural networks versus codebooks in an application for bandwidth extension of speech signals,” in Eighth European Conference on Speech Communication and Technology,2003.
[16] Juho Kontio, Laura Laaksonen, and Paavo Alku, “Neural networkbased artificial bandwidth expansion of speech,” IEEE transactions on audio, speech, and language processing, vol. 15, no. 3, pp. 873–881,2007.
[17] Johannes Abel and Tim Fingscheidt, “Artificial speech bandwidth extension using deep neural networks for wideband spectral envelope estimation,” IEEE/ACM Transactions on Audio, Speech, and Language Processing, vol. 26, no. 1, pp. 71–83, 2018.
[18] Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, and Yoshua Bengio,“Generative adversarial nets,” in Advances in neural information processing systems, 2014, pp. 2672–2680.
[19] Lars Mescheder, Andreas Geiger, and Sebastian Nowozin, “Which training methods for gans do actually converge?,” in International Conference on Machine Learning, 2018, pp. 3478–3487.
[20] Martin Arjovsky, Soumith Chintala, and L´eon Bottou, “Wasserstein generative adversarial networks,” in International Conference on Machine Learning, 2017, pp. 214–223.
[21] Ishaan Gulrajani, Faruk Ahmed, Martin Arjovsky, Vincent Dumoulin,and Aaron C Courville, “Improved training of wasserstein gans,” in Advances in Neural Information Processing Systems, 2017, pp. 5767–5777.
[22] Casper Kaae Sønderby, Jose Caballero, Lucas Theis, Wenzhe Shi, and Ferenc Husz´ar, “Amortised map inference for image super-resolution,”arXiv preprint arXiv:1610.04490, 2016.
[23] Kevin Roth, Aurelien Lucchi, Sebastian Nowozin, and Thomas Hofmann, “Stabilizing training of generative adversarial networks through regularization,” in Advances in Neural Information Processing Systems,2017, pp. 2018–2028.
[24] Christian Ledig, Lucas Theis, Ferenc Husz´ar, Jose Caballero, Andrew Cunningham, Alejandro Acosta, Andrew P Aitken, Alykhan Tejani, Johannes Totz, Zehan Wang, et al., “Photo-realistic single image superresolution using a generative adversarial network.,” in CVPR, 2017,vol. 2, p. 4.
[25] Alice Lucas, Santiago Lopez Tapia, Rafael Molina, and Aggelos K Katsaggelos,“Generative adversarial networks and perceptual losses for video super-resolution,” arXiv preprint arXiv:1806.05764, 2018.
[26] Sen Li, St´ephane Villette, Pravin Ramadas, and Daniel J Sinder,“Speech bandwidth extension using generative adversarial networks,”in IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2018, pp. 5029–5033.
[27] 3GPP2 C.S0014-C v1.0, “Enhanced variable rate codec, speech service option 3, 68 and 70 for wideband spread spectrum digital systems,” .
[28] Wenzhe Shi, Jose Caballero, Ferenc Husz´ar, Johannes Totz, Andrew PAitken, Rob Bishop, Daniel Rueckert, and Zehan Wang, “Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016, pp. 1874–1883.
[29] Julius O. Smith, “Digital audio resampling home page center for computer research in music and acoustics (ccrma),” .
[30] Paul Mermelstein, “Evaluation of a segmental snr measure as an indicator of the quality of adpcm coded speech,” The Journal of the Acoustical Society of America, vol. 66, no. 6, pp. 1664–1667, 1979.
[31] AWRix, J Beerends, M Hollier, and A Hekstra, “Perceptual evaluation of speech quality (pesq), an objective method for end-to-end speech quality assessment of narrowband telephone networks and speech codecs,” ITU-T Recommendation, vol. 862, 2001.

標籤：其他

上一篇：SWIG 3 中文手冊——10. 引數處理

下一篇：論文翻譯：2018_Time-Frequency Networks For Audio Super-Resolution