目錄
前言
環境安裝
1、conda安裝Python3.9虛擬環境
2、安裝Visual Studio 2019
3、安裝requirements.txt
4、安裝paddlepaddle和paddlespeech
5、nltk_data下載
專案驗證
tts語音合成
asr語音識別
標點恢復
總結
前言
這段時間一直在研究飛漿平臺,最近試了試PaddleSpeech專案,試著對文本語音做處理,整體的效果個人覺著不算特別優越,只能作為簡單的學習使用,
專案github地址:github倉庫
環境安裝
首先我們看一下專案結構以及安裝檔案,

需要Python3.7以上、C++環境、requirements安裝等等,下面按照我的順序說一下,
1、conda安裝Python3.9虛擬環境
使用conda安裝python3.9環境,命令如下,
conda create -n py39 python=3.9
2、安裝Visual Studio 2019
安裝地址: Microsoft C++ 生成工具 - Visual Studio
注意安裝的時候需要勾選C++桌面開發,
3、安裝requirements.txt
使用命令安裝requiremets.txt,命令如下:
pip install -r requirements.txt -i https://pypi.douban.com/simple
這里要注意一下,paddlespeech_ctcdecoders安裝失敗的話無所謂,可以略掉,
4、安裝paddlepaddle和paddlespeech
命令如下:
pip install paddlepaddle -i https://mirror.baidu.com/pypi/simple pip install paddlespeech -i https://pypi.tuna.tsinghua.edu.cn/simple
5、nltk_data下載
按照專案安裝檔案內的說明,

我的本地目錄地址如下

專案驗證
我下面分別驗證一下tts、asr以及標點恢復功能,
tts語音合成
使用命令如下:
paddlespeech tts --input "南京現在很冷,下次再去夫子廟吧," --output C:\Users\xxx\Desktop\115.wav
執行程序
(dh_partner) D:\spyder\PaddleSpeech>paddlespeech tts --input "南京現在很冷,下次再去夫子廟吧," --output C:\Users\xxx\Desktop\115.wav
phones_dict: None
[2022-01-05 17:23:43,642] [ INFO] [log.py] [L57] - File C:\Users\huyi\.paddlespeech\models\fastspeech2_csmsc-zh\fastspeech2_nosil_baker_ckpt_0.4.zip md5 checking...
[2022-01-05 17:23:44,742] [ INFO] [log.py] [L57] - Use pretrained model stored in: C:\Users\huyi\.paddlespeech\models\fastspeech2_csmsc-zh\fastspeech2_nosil_baker_ckpt_0.4
self.phones_dict: C:\Users\huyi\.paddlespeech\models\fastspeech2_csmsc-zh\fastspeech2_nosil_baker_ckpt_0.4\phone_id_map.txt
[2022-01-05 17:23:44,743] [ INFO] [log.py] [L57] - C:\Users\huyi\.paddlespeech\models\fastspeech2_csmsc-zh\fastspeech2_nosil_baker_ckpt_0.4
[2022-01-05 17:23:44,744] [ INFO] [log.py] [L57] - C:\Users\huyi\.paddlespeech\models\fastspeech2_csmsc-zh\fastspeech2_nosil_baker_ckpt_0.4\default.yaml
[2022-01-05 17:23:44,744] [ INFO] [log.py] [L57] - C:\Users\huyi\.paddlespeech\models\fastspeech2_csmsc-zh\fastspeech2_nosil_baker_ckpt_0.4\snapshot_iter_76000.pdz
self.phones_dict: C:\Users\huyi\.paddlespeech\models\fastspeech2_csmsc-zh\fastspeech2_nosil_baker_ckpt_0.4\phone_id_map.txt
[2022-01-05 17:23:44,745] [ INFO] [log.py] [L57] - File C:\Users\huyi\.paddlespeech\models\pwgan_csmsc-zh\pwg_baker_ckpt_0.4.zip md5 checking...
[2022-01-05 17:23:44,782] [ INFO] [log.py] [L57] - Use pretrained model stored in: C:\Users\huyi\.paddlespeech\models\pwgan_csmsc-zh\pwg_baker_ckpt_0.4
[2022-01-05 17:23:44,783] [ INFO] [log.py] [L57] - C:\Users\huyi\.paddlespeech\models\pwgan_csmsc-zh\pwg_baker_ckpt_0.4
[2022-01-05 17:23:44,783] [ INFO] [log.py] [L57] - C:\Users\huyi\.paddlespeech\models\pwgan_csmsc-zh\pwg_baker_ckpt_0.4\pwg_default.yaml
[2022-01-05 17:23:44,785] [ INFO] [log.py] [L57] - C:\Users\huyi\.paddlespeech\models\pwgan_csmsc-zh\pwg_baker_ckpt_0.4\pwg_snapshot_iter_400000.pdz
vocab_size: 268
frontend done!
encoder_type is transformer
decoder_type is transformer
C:\Users\huyi\.conda\envs\dh_partner\lib\site-packages\paddle\framework\io.py:415: DeprecationWarning: Using or importing the ABCs from 'collections' instead of from 'collections.abc' i
s deprecated since Python 3.3, and in 3.10 it will stop working
if isinstance(obj, collections.Iterable) and not isinstance(obj, (
acoustic model done!
voc done!
Building prefix dict from the default dictionary ...
[2022-01-05 17:23:51] [DEBUG] [__init__.py:113] Building prefix dict from the default dictionary ...
Loading model from cache C:\Users\huyi\AppData\Local\Temp\jieba.cache
[2022-01-05 17:23:51] [DEBUG] [__init__.py:132] Loading model from cache C:\Users\huyi\AppData\Local\Temp\jieba.cache
Loading model cost 0.659 seconds.
[2022-01-05 17:23:52] [DEBUG] [__init__.py:164] Loading model cost 0.659 seconds.
Prefix dict has been built successfully.
[2022-01-05 17:23:52] [DEBUG] [__init__.py:166] Prefix dict has been built successfully.
C:\Users\huyi\.conda\envs\dh_partner\lib\site-packages\paddle\fluid\dygraph\math_op_patch.py:251: UserWarning: The dtype of left and right variables are not the same, left dtype is padd
le.int64, but right dtype is paddle.int32, the right dtype will convert to paddle.int64
warnings.warn(
[2022-01-05 17:23:58,811] [ INFO] [log.py] [L57] - Wave file has been generated: C:\Users\xxx\Desktop\115.wav
生成的音頻如下

asr語音識別
我就使用了tts生成的音頻進行asr識別,看看效果,命令如下:
paddlespeech asr --lang zh --input C:\Users\xxx\Desktop\115.wav
執行結果如下

可以看到最后列印的內容是沒有標點的文字輸出,還是比較準的,
標點恢復
就用這句話試試標點恢復的情況,命令如下:
paddlespeech text --task punc --input 南京現在很冷下次再去夫子廟吧
執行結果

看起來語意上沒什么問題,
總結
我在前言中說效果不是很好的主要原因是因為速率比較慢,相比于類似阿里云提供的tts、asr介面來說,效率比較低,也可能和需要校驗模型是否存在這些無關緊要的功能有關,可以考慮研究代碼,自己重新封裝一些服務,效果應該好的多,
還有補充一下,最近博主在參加評選博客之星活動,如果你喜歡我的文章的話,不妨給我點個五星,投投票吧,謝謝大家的支持!!鏈接地址:https://bbs.csdn.net/topics/603956455
分享:
世界不會在意你的自尊,人們看到的只是你的成就,在你沒有成就以前,切勿過分強調自尊,——《了不起的蓋茨比》
如果本文對你有用的話,點個贊吧,謝謝!!!

轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/404051.html
標籤:AI
