前言

AI變聲項目：DDSP-SVC。3.0版本轉(zhuǎn)換效果大大提升！低配高質(zhì)量。只要有一張2G以上顯存的N卡，就可以跑訓(xùn)練。在原有的基礎(chǔ)上加入淺擴散機制。將DDSP輸出的質(zhì)量較低的音頻的梅爾圖譜輸入擴散模型進行前擴散處理，輸出一個梅爾圖譜，并通過聲碼器轉(zhuǎn)換成高質(zhì)量的音頻。

說明

DDSP的最大優(yōu)點在于其較快的訓(xùn)練和推理速度和極低的顯卡要求。訓(xùn)練時間僅需要兩個小時以內(nèi)。推理速度支持實時變聲。

DDSP3.0支持多編碼器的訓(xùn)練選項，可以在音色還原和咬字清晰之間，選擇適合你需求的編碼器進行訓(xùn)練，做到非實時變聲（翻唱和實時變聲的同時兼顧）

工作流

準(zhǔn)備DDSP的數(shù)據(jù)集：一到兩個小時的干凈人聲，最低不要低于30分鐘。推薦使用UVR5這個軟件，可以做到伴奏和人聲分離。

使用方式：上傳音頻——選擇輸出目錄——設(shè)置處理參數(shù)

數(shù)據(jù)集的格式必須是.wav格式，文件名只能是英文。Up主做了一個智能音頻切片工具，可以一鍵制作符合要求的數(shù)據(jù)集，確保不會出現(xiàn)過長或者過短的音頻。

啟動WebUI，梯子和插件關(guān)掉。

點擊智能音頻切片選項卡——將目錄路徑復(fù)制粘貼——加載原始音頻——選擇輸出目錄——開始切片——檢查最短的音頻，3秒到15秒內(nèi)事比較好的時長范圍。

接下來我們只需要把所有的這些音頻切片給它移動到整合包目錄底下的這個位置：.\data\train\audio

從數(shù)據(jù)集里面挑選一些音頻作為驗證集。

數(shù)據(jù)集合驗證集的比差不多是100:1，質(zhì)量越高越，驗證集音頻做好不要超過10條。驗證集放到這個目錄底下：.\data\val\audio

不想手動挑的話，選擇巡禮選項卡里面的“一鍵劃分?jǐn)?shù)據(jù)集”

檢查目錄，數(shù)據(jù)集制作好后，準(zhǔn)備訓(xùn)練。

訓(xùn)練開始前，要先選擇一個特征編碼器和f0提取算法。

接著點擊數(shù)據(jù)預(yù)處理，監(jiān)控輸出信息，進度條跑滿之后，預(yù)處理就完成了

DDSP的完整推理過程需要訓(xùn)練兩個模型，分別是DDSP的模型和擴散模型。

不開數(shù)據(jù)緩存的情況下，batch size設(shè)置為64的時候僅僅占用了2G多一點的顯存。1個小時的數(shù)據(jù)集開了GPU緩存后，占用了6G顯存。

擴散模型的浮點類型，如果顯卡支持，建議使用bf16來訓(xùn)練。

設(shè)置完之后，點擊“寫入配置文件”。點擊當(dāng)前的訓(xùn)練進度，第一次訓(xùn)練點擊從頭開始訓(xùn)練就可以。

終端里面跳出某一行的時候

就可以打開transboard

這里邊有兩個選項卡，一個是train loss，一個是validation loss，把smoothing拉高一點

loss會收斂到一個值，不再下降，此時就可以在訓(xùn)練終端里按下Ctrl+C，來中斷訓(xùn)練。

推理

推薦同時加載兩個模型進行推理。

選擇完了模型之后，就可以上傳干聲音頻，參數(shù)可以保持默認(rèn)。點擊音頻轉(zhuǎn)換。

終端的進度條走完之后，推理就完成了。

有時候會發(fā)現(xiàn)某些音變得很啞，一個可能是音高超出了模型能唱的一個音域范圍，另一種原因是f0算法提取了錯誤的音高，可以通過更換提取算法來嘗試解決。

淺擴散步數(shù)越高，轉(zhuǎn)換出來的音色就越接近擴散模型的音色。