預(yù)告:從零開(kāi)始學(xué)習(xí)AI歌聲調(diào)教

【未來(lái)我會(huì)在我的微信公眾號(hào)(巧克力的游戲屋)上發(fā)布AI歌姬調(diào)教教程合集,敬請(qǐng)期待!】
一、引言
虛擬歌姬由來(lái)已久,在深度學(xué)習(xí)還未爆火的2003年,雅馬哈公司就已經(jīng)推出了可以進(jìn)行歌聲合成的軟件VOCALOID,初音未來(lái)、洛天依等虛擬歌姬更是成為家喻戶曉的頂級(jí)IP。2022年以來(lái),雖然虛擬歌姬在B站的熱度大不如前,但是深度學(xué)習(xí)的發(fā)展讓虛擬歌姬的歌聲合成水平產(chǎn)生了質(zhì)的飛躍。諸如Synthesizer V、ACE studio、CeVIO、DiffSinger等強(qiáng)大的AI歌聲合成引擎如雨后春筍般涌現(xiàn),其歌聲質(zhì)量已直逼真人歌手。
如果你之前從未接觸了解過(guò)虛擬歌姬,或者你對(duì)虛擬歌姬的印象仍停留在機(jī)械、電音拉滿的層面,那么我建議你可以看看下面這個(gè)視頻:
https://www.bilibili.com/video/BV1K24y1u78U
P1是真人演唱,P2是AI合成。如果不告訴你,你能區(qū)分開(kāi)嗎?
在AI技術(shù)的加成下,虛擬歌姬目前完全可以做到以假亂真的效果了。
AI技術(shù)的發(fā)展,也對(duì)歌曲調(diào)教產(chǎn)生了非常巨大的影響(如果你不知道什么是調(diào)教的話,那么可以先簡(jiǎn)單認(rèn)為是給虛擬歌姬進(jìn)行調(diào)音,后面我會(huì)詳細(xì)展開(kāi)解釋)。以往的很多工作,現(xiàn)在都可以通過(guò)AI技術(shù)自動(dòng)實(shí)現(xiàn),這使得調(diào)教的難度與工作量大大降低。B站上有很多調(diào)教的教程,但大多都針對(duì)的是沒(méi)有AI技術(shù)加成的歌姬,在時(shí)效性上有所落后,且覆蓋的知識(shí)也不是非常全面。因此,我想做一個(gè)詳細(xì)的針對(duì)AI歌姬的調(diào)教教程,希望能對(duì)新手小白有所幫助。
二、一些基本概念的解釋
1、AI歌聲合成
歌聲合成,隸屬于聲音合成中的子領(lǐng)域。目前,跟歌聲相關(guān)的AI技術(shù)主要分為兩類:
SVS(Singing Voice Synthesis):歌聲合成,即讓AI學(xué)習(xí)一位歌手的聲音特征,然后根據(jù)曲譜生成一段和歌手聲音相近的歌聲。
SVC(Singing Voice Conversion):歌聲轉(zhuǎn)換,即讓AI學(xué)習(xí)一位歌手的聲音特征,然后對(duì)另一個(gè)歌手的歌曲進(jìn)行聲音替換。
像VOCALOID、Synthesizer V、ACE studio、DiffSinger這些都屬于SVS類。SVS相較于SVC的最大優(yōu)點(diǎn)在于靈活性高,可以對(duì)歌曲的音高曲線、動(dòng)態(tài)甚至音色變化做非常靈活的調(diào)整。因此,本教程也主要針對(duì)的是SVS的歌曲調(diào)教教程方法,SVC領(lǐng)域并不涉及。
2、歌曲調(diào)教
歌曲調(diào)教指的是讓虛擬歌手按照曲譜唱出歌曲,并對(duì)音高曲線、聲音動(dòng)態(tài)、音色、發(fā)音咬字等演唱細(xì)節(jié)進(jìn)行調(diào)整,使之情感飽滿的工作。以Synthesizer V的界面為例,每一個(gè)綠色方塊都代表著虛擬歌姬要演唱的部分,每一個(gè)方塊的位置都對(duì)應(yīng)著鋼琴卷簾的一處音高,方塊中的細(xì)線就是音高曲線(以后會(huì)詳細(xì)介紹),下面的波形就是虛擬歌姬演唱出來(lái)后的真實(shí)波形。各個(gè)AI歌聲合成引擎雖然功能與界面略有差異,但有關(guān)演唱的鋼琴卷簾界面基本一致,我們調(diào)教要做的工作主要就是對(duì)這些方塊進(jìn)行調(diào)整修改。

三、AI技術(shù)為歌聲合成帶來(lái)的變革
AI技術(shù)加成下的虛擬歌姬以及歌聲合成引擎究竟和以前有哪些不同?以下是我的觀點(diǎn):
聲音質(zhì)感與咬字發(fā)聲:AI虛擬歌姬在聽(tīng)感上相較于傳統(tǒng)的虛擬歌姬,更加逼近真人歌手。以往虛擬歌姬的機(jī)械感、發(fā)音不標(biāo)準(zhǔn)等問(wèn)題,現(xiàn)在都已基本解決。以往的調(diào)教過(guò)程中,為了解決虛擬歌姬咬字不標(biāo)準(zhǔn)的問(wèn)題,需要花大量功夫進(jìn)行拆音工作,如今得益于AI歌姬的強(qiáng)大表現(xiàn)力,目前的AI歌姬調(diào)教中已經(jīng)很少用到拆音了(跨語(yǔ)言除外)。
音高曲線的高度自動(dòng)化:目前的AI歌姬可以自動(dòng)生成音高曲線,以逼近真人歌手的演唱。這使得我們?cè)谡{(diào)教過(guò)程中的音高調(diào)整工作量大大減少,盡管有時(shí)AI歌姬的音高曲線不太穩(wěn)定還是需要手動(dòng)調(diào)整。
音色的高度自由化:AI歌姬在音色上也可以進(jìn)行自動(dòng)調(diào)整,并且支持高度自由的手動(dòng)調(diào)整,這使得AI歌姬的演唱風(fēng)格更加多樣化。
四、本教程的主要內(nèi)容
本教程主要面向零基礎(chǔ)的AI歌聲合成小白,全面細(xì)致講解歌曲調(diào)教的整個(gè)流程,以及用到的常見(jiàn)技術(shù)技巧,幫助各位新手入門,去實(shí)現(xiàn)自己的第一個(gè)調(diào)教作品。
本教程雖然主要用的是Synthesizer V引擎,但是有關(guān)調(diào)教思路、音高曲線、動(dòng)態(tài)等知識(shí)的講解是互通普適的,完全可以應(yīng)用在其他AI歌聲合成引擎上。個(gè)人認(rèn)為,理解好思路要比運(yùn)用好軟件更重要。
本教程主要涵蓋以下內(nèi)容:
第一節(jié):AI歌姬調(diào)教的流程與思路
第二節(jié):AI歌聲合成所需要的軟硬件準(zhǔn)備
第三節(jié):如何逐步提高自己的調(diào)教水平?
第四節(jié):翻調(diào)前的準(zhǔn)備工作
第五節(jié):快速了解Synthesizer V
第六節(jié):AI虛擬歌姬的音色設(shè)計(jì)
第七節(jié):如何使用自動(dòng)音高功能
第八節(jié):音高曲線(Pitch)調(diào)教方法
第九節(jié):動(dòng)態(tài)調(diào)教方法
第十節(jié):停頓≠無(wú):cl、br的使用
第十一節(jié):簡(jiǎn)談拆音
第十二節(jié):和聲的處理原則
第十三節(jié):導(dǎo)出作品的注意事項(xiàng)
第十四節(jié):虛擬歌姬混音經(jīng)驗(yàn)分享