云端煉丹固然是極好的，但不能否認的是，成本要比本地高得多，同時考慮到深度學習的訓練相對于推理來說成本也更高，這主要是因為它需要大量的資料、計算資源和時間等資源，并且對超引數的調整也要求較高，更適合在云端進行，
在推理階段，模型的權重和引數不再調整，相反，模型根據輸入資料的特征進行計算，并輸出預測結果，推理階段通常需要較少的計算資源和時間，所以訓練我們可以放在云端，而批量推理環節完全可以挪到本地，這樣更適合批量的聲音克隆場景，
本地配置PaddleSpeech
首先需要在本地安裝PaddlePaddle框架，關于PaddlePaddle的本地配置，請移步：聲音好聽,顏值能打,基于PaddleGAN給人工智能AI語音模型配上動態畫面(Python3.10)，這里不再贅述，
安裝好PaddlePaddle之后，運行命令本地安裝PaddleSpeech：
pip3 install paddlespeech
由于paddlespeech的依賴庫中包括webrtcvad，如果本地環境沒有安裝過Microsoft Visual C++ 14.0，大概率會報這個錯誤：
building 'Crypto.Random.OSRNG.winrandom' extension
error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual
C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools
此時需要安裝一下Microsoft Visual C++ 14.0的開發者工具，最好不要使用微軟的線上安裝包，推薦使用離線安裝包，下載地址：
鏈接：https://pan.baidu.com/s/1VSRHAMuDkhzQo7nM4JihEA?pwd=or7x
提取碼：or7x
安裝完C++ 14.0即可完成PaddleSpeech的安裝：
D:\work\speech\master_voice>python
Python 3.10.11 (tags/v3.10.11:7d4cc5a, Apr 5 2023, 00:38:17) [MSC v.1929 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> import paddlespeech
>>>
下載音色模型和聲碼器
音色模型就是之前我們在：聲音克隆,精致細膩,人工智能AI打造國師“一鏡到底”鬼畜視頻,基于PaddleSpeech(Python3.10)中訓練的國師的音色模型，下載地址：
鏈接：https://pan.baidu.com/s/1nKOPlI7P_u_a5UGdHX76fA?pwd=ygqp
提取碼：ygqp
隨后下載聲碼器，這里推薦下載【PWGan】和【WaveRnn】兩款聲碼器，不推薦【HifiGan】，因為【HifiGan】的效果實在太糟糕，PWGan的效果差強人意，WaveRnn質量最高，但推理時間也最慢，
下載地址：
鏈接：https://pan.baidu.com/s/1KHIZS5CrydtANXm6CszdYQ?pwd=6lsk
提取碼：6lsk
下載之后，分別解壓到同一個目錄即可，
本地推理
接下來我們就可以撰寫推理腳本了，
首先匯入需要的模塊：
from pathlib import Path
import soundfile as sf
import os
from paddlespeech.t2s.exps.syn_utils import get_am_output
from paddlespeech.t2s.exps.syn_utils import get_frontend
from paddlespeech.t2s.exps.syn_utils import get_predictor
from paddlespeech.t2s.exps.syn_utils import get_voc_output
# 音色模型的路徑
am_inference_dir = "./master"
# 聲碼器的路徑
voc_inference_dir_pwgan = "./pwgan"
# 聲碼器的路徑
voc_inference_dir_wavernn = "./wavernn"
# 克隆音頻生成的路徑
wav_output_dir = "./output"
# 選擇設備[gpu / cpu]，默認選擇gpu，
device = "gpu"
這里定義好模型和聲碼器的路徑，同時定義輸出路徑，默認采用gpu進行推理，速度更快，
隨后定義后要語音生成的文本：
text_dict = {
"1": "我原來想拿中石油的offer",
"2": "是不是很大膽",
"3": "中石油",
"4": "國企天花板",
"5": "就是中石油",
"6": "出差可以逛太古里",
"7": "太爽了",
"8": "我最早準備面試的時候",
"9": "跟所有同學說的只面中石油",
"10": "所有的同學，包括親戚，朋友，他們所有人很興奮",
"11": "我女朋友也很興奮",
"12": "中石油",
"13": "一直說的是去中石油",
"14": "我一直在做去中石油的準備",
"15": "當時我面試的時候",
"16": "我說試用期只要20天",
"17": "或者只要25天",
"18": "兩周到三周",
"19": "hr說為什么?",
"20": "我說很簡單",
"21": "我每天飛四川",
"22": "單程兩個小時",
"23": "早上去一次",
"24": "晚上去一次",
"25": "每天去兩次",
"26": "我堅持10天",
"27": "20次",
"28": "就是20次",
"29": "成都太古里",
"30": "哇簡直太爽了",
"31": "逛街",
"32": "去10天就夠了",
"33": "然后前面的十天在北京",
"34": "上班",
"35": "嚴格地上班",
"36": "我說試用期只要二十天",
"37": "咱試用期就結束了",
"38": "哇hr說真的太厲害",
"39": "就挑戰性太大了",
"40": "一天都不能請假啊",
"41": "但是后來我還是放棄了，哈哈哈",
"42": "你知道為什么",
"43": "我研究了大量的員工去成都的案例",
"44": "嗯，也有一些基層員工",
"45": "還有尤其是最近一段時間一些比較大膽的行為",
"46": "就是牽手那個我也看了",
"47": "我專門看",
"48": "研究",
"49": "就一直，我就一直下不了決心",
"50": "其實我真的非常想去啊，內心深處非常想",
"51": "你知道最大問題是什么，當然這是一個專業問題，簡單地說最大問題就是街拍",
"52": "就是街拍",
"53": "因為你去了他就拍你啊",
"54": "就沒有辦法",
"55": "對一個員工",
"56": "對一個向往太古里的員工",
"57": "一個經常逛太古里的員工來說",
"58": "他給你來一個街拍",
"59": "全給你拍下來",
"60": "上傳抖音",
"61": "因為你不能蹭蹭蹭蹭",
"62": "逛的太快啊",
"63": "不能啊",
"64": "你從南邊到北邊",
"65": "你中間得逛啊",
"66": "就拍了",
"67": "就拍了",
"68": "第一是街拍避免不了",
"69": "無論怎么樣",
"70": "我想來想去",
"71": "因為我算個內行嘛",
"72": "我不去了，我就知道街拍跑不了",
"73": "街拍，避免不了",
"74": "第二個",
"75": "你的工資會全都損失了",
"76": "不是損失一半的工資，一半無所謂",
"77": "是全部的工資，獎金，績效，年終獎全都沒有了",
"78": "然后你還得停職",
"79": "就很尷尬啊",
"80": "這樣子就不好混了",
"81": "真的不好混了",
"82": "最后我差不多一個多月的思想斗爭",
"83": "那是個重大決定",
"84": "因為我都是按照去中石油準備的",
"85": "背面試題呢",
"86": "后來說放棄",
"87": "我自己決定放棄",
"88": "一個人做的決定，一個人的思考",
"89": "一個多月以后我放棄了，我第一個電話打給人力，我說我放棄去中石油，他，啊這，就不能接受",
"90": "他已經完全沉浸到去太古里當中去了，你知道吧",
"91": "就想著太好了，就喜歡的不得了",
"92": "怎么可能就過來說服我",
"93": "我說你不用跟我說",
"94": "你都不太清楚",
"95": "反正去中石油",
"96": "說怎么可能，你能做到，就開始給我忽悠",
"97": "我放棄了",
"98": "然后我跟女朋友說放棄",
"99": "哎呀，她說她把包包裙子都買了，這那的",
"100": "所有人，大家都覺得太遺憾了，",
"101": "然后跟老板說",
"102": "最有意思是跟老板說",
"103": "說真的不去中石油了",
"104": "哎呀，哎呀",
"105": "就覺著好像就沒勁了，哈哈哈",
"106": "說你不是開玩笑吧",
"107": "哎呀就覺得，好像不想要我了似的",
"108": "開玩笑啊，開玩笑",
"109": "就所有人都沮喪而失落",
"110": "就我看到大家的反應",
"111": "我也很難過，很難過",
"112": "我我，我后來還是放棄了",
"113": "放棄了，嗯",
"114": "所以中石油offer是一個學習",
"115": "它對于一個追求太古里的一個員工來說",
"116": "它是破壞性的",
"117": "你去了中石油又能怎么樣呢?",
"118": "你丟掉了信仰",
"119": "丟掉了人格啊",
"120": "孰重孰輕啊",
"121": "所以我在學習",
"122": "我在學習做一個合格員工的思考",
"123": "這就是我的，遺憾",
"124": "但也許是我的一個清醒",
"125": "或者學習的心得",
}
這里字典的key是檔案名，value是音頻的內容，
隨后加載聲碼器地址中的組態檔：
# frontend
frontend = get_frontend(
lang="mix",
phones_dict=os.path.join(am_inference_dir, "phone_id_map.txt"),
tones_dict=None
)
# am_predictor
am_predictor = get_predictor(
model_dir=am_inference_dir,
model_file="fastspeech2_mix" + ".pdmodel",
params_file="fastspeech2_mix" + ".pdiparams",
device=device)
# voc_predictor
voc_predictor_pwgan = get_predictor(
model_dir=voc_inference_dir_pwgan,
model_file="pwgan_aishell3" + ".pdmodel",
params_file="pwgan_aishell3" + ".pdiparams",
device=device)
voc_predictor_wavernn = get_predictor(
model_dir=voc_inference_dir_wavernn,
model_file="wavernn_csmsc" + ".pdmodel",
params_file="wavernn_csmsc" + ".pdiparams",
device=device)
output_dir = Path(wav_output_dir)
output_dir.mkdir(parents=True, exist_ok=True)
sentences = list(text_dict.items())
這里我們準備兩個聲碼器物件，
最后運行克隆函式：
def clone(voc_predictor):
merge_sentences = True
fs = 24000
for utt_id, sentence in sentences:
am_output_data = https://www.cnblogs.com/v3ucn/p/get_am_output(
input=sentence,
am_predictor=am_predictor,
am="fastspeech2_mix",
frontend=frontend,
lang="mix",
merge_sentences=merge_sentences,
speaker_dict=os.path.join(am_inference_dir, "phone_id_map.txt"),
spk_id=0, )
wav = get_voc_output(
voc_predictor=voc_predictor, input=am_output_data)
# 保存檔案
sf.write(output_dir / (utt_id + ".wav"), wav, samplerate=fs)
if __name__ == '__main__':
clone(voc_predictor_pwgan)
這里默認的采樣率是24000，am模型使用fastspeech2_mix，因為它可以兼容英文的閱讀，
聲碼器選擇voc_predictor_pwgan，當然也可以將引數修改為voc_predictor_wavernn，
生成后的效果：
結語
基于聲學模型 FastSpeech2的PaddleSpeech的產品力已經相當驚人，就算是放在全球人工智能領域的尺度上，擺在微軟這種業界巨頭的最佳產品Azure-tts旁邊，也是毫不遜色的，感謝百度，讓普通人也能玩惡搞配音專案，最后奉上國師的鬼畜視頻一鍵生成專案，與眾鄉親同饗：
https://github.com/zcxey2911/zhangyimou_voice_clone_text
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/555264.html
標籤：其他
上一篇：ChatGPT+Mermaid自然語言流程圖形化產出小試
下一篇：返回列表