之前發(fā)布的視頻是第一代曉美焰之遙，是喂了魔法記錄里面4個(gè)形態(tài)的曉美焰語(yǔ)音集煉出來的，自我感覺質(zhì)量一般，為了排除訓(xùn)練數(shù)據(jù)集的影響，我解包拿到了psp攜帶版魔法少女小圓游戲的語(yǔ)音集，平均五色和qb每人有三千多條語(yǔ)音，且都是純凈人聲的高質(zhì)量語(yǔ)音。于是在第一次嘗試基礎(chǔ)之上繼續(xù)嘗試煉ai模型，在壞爐一次之后，產(chǎn)出了第三代ai曉美焰之遙并玩了幾天。 這次的嘗試主要遇到的問題是： 1：音域窄 雖然數(shù)據(jù)集是psp游戲解包拿到的很高質(zhì)量的純凈人聲，但是架不住曉美焰本身的音域就窄，這還是算上了游戲里放開手腳的齋藤千和配了單條最長(zhǎng)達(dá)二十一秒的哭唧唧語(yǔ)音和破音大喊“不要！”的名場(chǎng)面。 （我沒去除這些語(yǔ)音，因?yàn)檎５恼Z(yǔ)音集數(shù)量遠(yuǎn)大于這些特殊情況，我塞進(jìn)爐的鍛材有純純的60分鐘語(yǔ)音集） 音域窄的話就不適合女高音，但是在女中音和低音上表現(xiàn)還行，用于對(duì)話還能滿足需求，用于唱歌就容易破聲。 2：難以提取音樂的純凈人聲部分 基于現(xiàn)階段的so-vits-svc項(xiàng)目，煉出來的ai模型在推理（讓ai唱歌）階段，對(duì)輸入音頻的人聲純凈程度要求較高，不能有bgm，不能有和聲或者混響，否則模型識(shí)別會(huì)出問題，輸出明顯痰音和電子音，折磨你的耳機(jī)。 去除bgm問題容易解決，但是要去除和聲或者混響就困難了，雖然現(xiàn)在也有基于深度學(xué)習(xí)的uvr5可以簡(jiǎn)單處理，但是效果并不理想，或許有使用au進(jìn)行調(diào)音手動(dòng)消除混響的可能，但是很遺憾我不會(huì)…… 如何預(yù)處理輸入音頻以獲得優(yōu)質(zhì)人聲就像河豚師傅處理膽囊一樣，這里才是真正見證技術(shù)的地方。 在嘗試五花八門的方法之后，現(xiàn)階段可選的手段主要為以下幾種： 一：在網(wǎng)路上找到這首歌的優(yōu)質(zhì)清唱版本 一：找管人唱這首歌的視頻（無和聲混響即可） 四：嘗試uvr5簡(jiǎn)單處理的效果 五：使用au處理音效 一：自己唱（我沒嘗試過） 四：換一首別的歌（也就是放棄） 經(jīng)測(cè)試，第一種效果最好，這種情況下還不行就只能是你模型的問題。 第二種其次，分具體情況討論，一般都是開著伴奏自己唱的可用，直播錄像也不錯(cuò)，一般直播的時(shí)候不會(huì)有后期制作的多重唱或者和聲效果，開著ktv混響的就算了…… 用到第三第四種措施基本你這歌很難處理得了，除非它本身就沒有混響或和聲，只是人聲+bgm。 最后一項(xiàng)對(duì)問題的解決效率是100%。 總結(jié)： 誠(chéng)然曉美焰之遙的音域受到天生限制，但是在實(shí)際操作中，最影響最終效果的還是推理階段的輸入音頻預(yù)處理，然而目前階段并沒有什么特別簡(jiǎn)單又有效而且高質(zhì)量的方法可以把普通音樂處理成純凈的人聲，所以結(jié)果就是ai能唱的歌其實(shí)不多，主要原因就是這歌好不好做，或者說網(wǎng)上有沒有純凈人聲版本的音頻可用。 最后是經(jīng)驗(yàn)教訓(xùn)： 一次訓(xùn)練一個(gè)音色就夠了，煉多了都是壞胚（??）