和ChatGPT一樣，莫名其妙地，在創(chuàng)作熱潮都快過(guò)去的時(shí)候，或許是突然資本入局的原因，AI換聲又火起來(lái)了。

筆者最早看到AI換聲（vits類(lèi)模型的應(yīng)用），大概是22年的綾地寧寧的語(yǔ)音合成。當(dāng)時(shí)印象最深的是有人合成了一個(gè)天皇詔書(shū)?；恼Q之余，實(shí)際效果并不理想。這段時(shí)間類(lèi)似聲線提取用于唱歌，比較火的就是Rcell的AI貓雷系列，此人也是后來(lái)火上天的so-vits的作者。

另外，還有一部分內(nèi)容比較矚目，就是原神類(lèi)內(nèi)容，甚至導(dǎo)致了后面相當(dāng)長(zhǎng)一段時(shí)間念稿TTS都是用的派蒙或者可莉聲線。究其原因的話，可能是因?yàn)?strong>原神語(yǔ)音解包比較方便，質(zhì)量也很好。

需要留意的是，語(yǔ)音合成和換聲是顯著不同的。前者就是所說(shuō)的TTS，Text-to-speach，被營(yíng)銷(xiāo)號(hào)們?yōu)榱俗畲筇岣吲判剐势毡椴捎玫哪欠N。輸入文本，從0開(kāi)始生成聲音。缺點(diǎn)在于，斷句、語(yǔ)氣并不理想，基本可以做到一耳朵就能聽(tīng)出來(lái)。我本人其實(shí)是比較反感AI配音念稿的，認(rèn)為缺少對(duì)觀眾最基本的尊重。

而換聲，最好理解的方式，就是變聲器。也就是說(shuō)，基于現(xiàn)有的聲音，更換為指定的音色。

與語(yǔ)音合成和以Vocaloid、Synthesizer V、CeVIO AI等為代表的歌聲合成相比，最大的區(qū)別是，必須通過(guò)現(xiàn)有聲音輸入。而不是輸入MIDI文件+歌詞或者單純的文本。

這也就意味著，想要調(diào)整換聲后的效果，除了少部分合成參數(shù)外（比如利用聚類(lèi)減少音色泄露），只能通過(guò)調(diào)整輸入的干聲來(lái)解決?；蛘?strong>對(duì)整個(gè)模型重新訓(xùn)練。

訓(xùn)練模型的感覺(jué)、以及利用訓(xùn)練好的模型進(jìn)行換聲，各種情況下都像是抽獎(jiǎng)。對(duì)照著RipX去分析波形，切和聲、去尾音、留還是不留呼吸聲，模型訓(xùn)練還要考慮過(guò)擬合。作為使用者（也就是利用算法、工具訓(xùn)練和換聲的人，而非算法作者研究者）的角度，很多時(shí)候是挺無(wú)奈的，一種完全不可控的感覺(jué)。

但優(yōu)勢(shì)同樣非常明顯。一旦你得到了一個(gè)效果較好的模型，只要簡(jiǎn)單對(duì)輸入干聲進(jìn)行預(yù)處理（比如清理和聲），幾秒鐘時(shí)間就能做出一首。哪怕算上后期，半個(gè)小時(shí)出一首堪聽(tīng)的“翻唱”都是綽綽有余的。這種效率是無(wú)法想象的，真人錄歌+后期都做不到。

對(duì)比之下，歌聲合成軟件要麻煩得多。扒譜、填詞、加和聲、調(diào)整音符參數(shù)…… 再加上后期的時(shí)間，一個(gè)星期左右是很正常的。幾十上百倍的效率差距。當(dāng)然，歌聲合成就做到了一定程度上唱法的量化和控制，這是AI換聲做不到的。

最近的熱點(diǎn)是AI孫燕姿。其實(shí)早在2023年二、三月份，相關(guān)算法公開(kāi)，換聲類(lèi)翻唱井噴的時(shí)候，大量的名人換聲就初見(jiàn)端倪。典型的就是AI周杰倫等。如果說(shuō)對(duì)游戲角色、動(dòng)畫(huà)聲優(yōu)或者日本歌手換聲可以借由二創(chuàng)免責(zé)或者國(guó)界優(yōu)勢(shì)睜一只眼閉一只眼的話，對(duì)華語(yǔ)歌手的換聲，甚至個(gè)別換聲政治人物（包括我們不能提到的那位），就完全是在雷區(qū)蹦迪了。結(jié)果是Rcell直接刪庫(kù)跑路了。

從法律意義上，但凡利用他人形象、聲音，不管涉及不涉及盈利，原則上都要拿到許可。無(wú)非是當(dāng)事人是否在意的事情。你可以辯解什么「幫你宣傳了」云云，但人家如果不愿意甚至起訴，那一定是對(duì)方獲勝且占理。這就像字幕組一樣，擅自翻譯本質(zhì)上就是侵權(quán)，無(wú)非對(duì)方是否檢舉的問(wèn)題。最近有唱見(jiàn)、聲優(yōu)專(zhuān)門(mén)發(fā)文表示不要擅自上傳直播切片之類(lèi)的，也是同理（扯多了）本站類(lèi)似的例子是「鬼畜」問(wèn)題。

我做動(dòng)畫(huà)相關(guān)翻譯和發(fā)布相關(guān)，到現(xiàn)在已經(jīng)有5年多的時(shí)間了。經(jīng)歷過(guò)的事件是真不算少。但我覺(jué)得始終有一點(diǎn)，就是對(duì)版權(quán)的敬意。就算我們?cè)偻虏郯鏅?quán)方的無(wú)情，沒(méi)有一個(gè)創(chuàng)作者愿意看到自己的辛苦創(chuàng)作的作品被惡意利用。這一點(diǎn)是一定的。

回到AI換聲，前面說(shuō)過(guò)，本質(zhì)上的變聲器性質(zhì)，也就意味著最終的演唱技巧完全取決于輸入干聲。那么，就像所有AIGC面臨的問(wèn)題一樣，千篇一律不可避免。而假使我們額外找人翻唱來(lái)提供相關(guān)變化，那為何不干脆直接演唱呢？還避免了利用聲音上面的肖像權(quán)問(wèn)題。（翻唱的著作權(quán)肯定也要考慮）。

從好的角度，讓喜歡的人唱自己喜歡的歌，甚至「復(fù)活」已逝歌手的聲音，怎么說(shuō)也是有積極意義的。這也是我創(chuàng)作AI李依李系列的原因。但喜歡和侵權(quán)也就一念之間。某種程度上這也是很多時(shí)候我們不希望把有些灰色性質(zhì)的小圈子曝光的原因。

以上，就是我作為實(shí)際嘗試過(guò)AI換聲以及AI歌聲合成的人的一些看法。

有興趣可以聽(tīng)聽(tīng)我的一些作品。

AI李依李：https://b23.tv/K4DQh05

SV作品：【合集·讓虛擬歌姬為你唱-嗶哩嗶哩】 https://b23.tv/lxjZ3Kp