基于diffusion的diffsvc語(yǔ)音轉(zhuǎn)換技術(shù)概要
1.?尊重版權(quán),請(qǐng)使用授權(quán)數(shù)據(jù)進(jìn)行ai訓(xùn)練
2.?基礎(chǔ)概念
2.0. 本專欄旨在幫助快速了解diffsvc,想更深入學(xué)習(xí)可查閱文中相關(guān)教程&項(xiàng)目鏈接。
2.1.?tts:即Text To Speech,從文本直接合成語(yǔ)音,如:Vits、Tacotron2
2.2.?svc:即Singing voice conversion,在保證歌唱內(nèi)容的同時(shí),將音色從輸入源轉(zhuǎn)換到目標(biāo)音色,可理解為變聲器,如:sovits、diff-svc
2.3.?svs:即Singing voice synthesis,是用于基于包括例如歌詞、節(jié)奏、音高等信息的樂(lè)譜來(lái)生成虛擬歌聲的技術(shù),如:vocaloid、sv、diffsinger等
3.?diff-svc應(yīng)用示例
?????將他人錄制的歌曲干聲輸入svc模型,可獲得模型音色的輸出、同時(shí)保留源數(shù)據(jù)的音高音準(zhǔn)


4.?優(yōu)勢(shì)
4.0. 項(xiàng)目開(kāi)源,代碼、模型完全本地自主化,可低成本自行制作變聲器
4.1.?diffsvc使用擴(kuò)散模型,適用于高質(zhì)量的人聲數(shù)據(jù)(聲卡直出、無(wú)底噪混響)、還原度高
4.2.?sovits3.0對(duì)低質(zhì)量數(shù)據(jù)適應(yīng)性好(少量噪音、混響、缺頻),推理速度快;鏈接位于文末

5.?自制教程
5.1.?請(qǐng)使用授權(quán)數(shù)據(jù)訓(xùn)練,切勿給他人帶來(lái)不必要的困擾!
5.2.?語(yǔ)雀教程
?????????https://www.yuque.com/shaohuojie/ocfmc1
5.3.?對(duì)應(yīng)代碼
?????????https://github.com/svc-develop-team/diff-svc
6.?原理
篇幅有限,詳見(jiàn):
https://github.com/openvpi/diff-svc/blob/main/doc/advanced_skills.markdown
7.?發(fā)展歷程
7.1.?prophesier將soft-vc與openvpi維護(hù)版的diffsinger相結(jié)合,發(fā)布了svc項(xiàng)目,作為長(zhǎng)期穩(wěn)定版
????????https://github.com/prophesier/diff-svc
7.2.?白葉開(kāi)發(fā)的多種模型推理gui

8.?相關(guān)鏈接
8.1.?tts:CjangCjengh維護(hù)的多語(yǔ)種vits,包括多種方言
????????https://github.com/CjangCjengh/vits
8.2.?svc:花兒不哭開(kāi)發(fā)的變聲器,暫時(shí)僅開(kāi)放推理
https://huggingface.co/lj1995/VoiceConversionWebUI/tree/main

8.3.?svs:openvpi維護(hù)的diffsinger
????????https://github.com/openvpi/DiffSinger
