執(zhí)行虛擬歌手調校技術專項試驗的半篇試驗報告
(寫在前面的話:這半篇試驗報告僅公開發(fā)布于我的嗶哩嗶哩專欄和我的個人公眾號@為哥的雜貨鋪子,我深切地期盼有新的想法得到交流,雖然沒有幾個人會看到我這里吧。該專項試驗于2020.6.29陸續(xù)進場準備,2021.7.11至8.31集中攻關,9.1至今進行拓展試驗。我本應在9月底完成這篇報告,但是中間發(fā)生了很多事情,直到今天才基本完成。至于為什么說是半篇,因為試驗成果發(fā)布后沒有獲得足夠的評閱意見,無法形成技術結論,結尾我會再貼上作品鏈接供評閱。2021.11.9)

自20年7月以來,我們根據既定試驗計劃,按照科學技術試驗的一般規(guī)律和要求,就虛擬歌手歌曲調校技術和合成引擎間的比較進行了幾輪試驗驗證,在今年7月11日至8月31日專項集中攻關期間,使用多種合成引擎試制合成了《東方紅》《春歸了》《沒有共產黨就沒有新中國》等幾首翻唱曲目,并進行了語調校試驗,后續(xù)又進行了一些補充試驗,取得了一定的技術試驗成果,填補了相關領域的空白,有力地支持了后續(xù)的規(guī)劃。作為一個起點為零的新手,在此期間得到了小冰、何暢、赤羽、陳水若等同志的全力配合,以及洛天依、星塵等同志的及時援助,我在此深表感謝并致以誠摯的祝福。

在寶貴的試驗機會中,我下力氣去了解,去體驗各類歌聲合成引擎的性能,并且下決心深入參與X Studio和艾靈的測試。整個專項試驗的技術路線主要有兩條,縱向測試(制作全流程試驗,包括獨唱、合唱以及語調校試驗)和橫向比較(引入真人演唱段作為對照,合成使用同一套MIDI序列并控制其他變量),受極低預算限制,全部使用既有試驗體系,結合其他試驗項目一起進行,提高試驗效益各取所需。參試引擎為:Vocaloid 4, Synthesize V, X studio, MUTA, 艾靈合成引擎,DeepVocal,Ace虛擬歌姬,使用Cubase進行后續(xù)混音過程,經過充分的篩選、探究,可以得到如下工程結論,如果有缺漏歡迎指正。
語調校試驗掠影??
1.Synthesize V??2.X studio


諸引擎歌調校試驗任務掠影
1.Vocaloid 4?2.Synthesize V 3.X studio 4.艾靈合成引擎 5.合唱混音 6.Ace虛擬歌姬






就其作為創(chuàng)作工具本身而言,合成引擎當以使用簡便、易達成效果為佳,有一個好用的工具,可以事半功倍。各引擎各具特色,又有各自的不足,在學習中可以融會貫通,舉一反三。各大合成引擎就技術路線可暫且分為兩大類,拼接合成和人工智能計算合成,具體到各家的關鍵技術,還有所不同。拼接合成引擎的代表有Vocaloid,DeepVocal,UTAU等,完全依靠手動調校完成創(chuàng)作過程,可調節(jié)的參數多寡,調節(jié)得是否精準,直接影響它的創(chuàng)作效果,參照前人經驗,引入數位板,可以大大提高調節(jié)的精準度。一些合成引擎(如DeepVocal)可以自行制作聲庫使用,這樣就為創(chuàng)作帶來了無盡的可能性。完全手動調校帶來的問題就是入門困難,學習、制作需要耗費大量的精力。人工智能合成引擎可再分為兩類,本地計算和云端計算,代表有Synthesizer V,X Studio,裊裊虛擬歌手,尚在測試階段的艾靈等,只需要簡單輸入,通過人工智能計算自動合成,若有參數則可以直接在計算結果的基礎上稍加修改,有效地減輕創(chuàng)作者的工作壓力。在我看來,這一技術路線是今后的主要發(fā)展方向,但是現在還有部分引擎尚未達到預期效果,合成結果難于使用,除此之外可調參數偏少也是很大的痛點,制作出想達到的效果較為不易。另外云端計算的引擎嚴格依賴網絡工作,在此作一個設想,將來會否出現本地云端相互結合,相互備份的工作模式,會不會更有效率。本質上講,參數的人工智能計算與手動調節(jié)是完全不沖突的,不應片面地強調某一個方面,不是哪個強就輕視另一方的作用,一個優(yōu)秀的合成引擎應該二者兼?zhèn)?,自由度需要足夠使用,人工智能計算足夠精準,合成質量需要足夠好,上手難度也需要足夠低,至少要容易引導?,F在已知X Studio有新手引導和范例供新手學習,Synthesizer V也有足夠清晰理解的標識和功能分區(qū),這些都是使用體驗的加分項。
?
就人的藝術創(chuàng)作而言,原則上以創(chuàng)作內容為核心,其他方面全部服務于內容。人設是輔助創(chuàng)作的重要信息,但決不是其決定因素,所以不需要被所謂人設的限制框死。具體到技術上,需要建立在分析真實歌手的發(fā)聲技巧之上,這是大家所公認的,除此之外也要尊重創(chuàng)作者的意圖。每一家引擎的使用方法大同小異,輸入音符是最基本的操作,在此基礎上調整音高、音素,氣聲,顫音等等,本質上是模仿真正的歌手唱歌時需注意的要素,自然是越細致越好。調校效果的好壞,模擬人聲是否真實,是純粹的技術問題。至于別的方面,實質與其他的藝術創(chuàng)作是一致的,只要遵照它本身的規(guī)律就可以了,沒有特殊照顧的必要。


綜合所有的使用體驗,對虛擬歌手也可以給出這樣的結論:對待藝術工作“絕對忠誠,絕對純潔,絕對可靠”。自2007年初音未來出道算起,虛擬歌手已有至少14年的發(fā)展歷程,受眾群體正在發(fā)展壯大,并有越來越多的創(chuàng)作者選擇虛擬歌手創(chuàng)作自己的作品,在角色的運營上除了官方引導外,主要依靠廣大群眾的力量,包括但不限于歌曲創(chuàng)作者、畫師、粉絲群體,就是路人也是潛在的受眾群體,從其自身特點上看,它天然地適宜走群眾路線發(fā)展,在當今的條件下成為廣大群眾提升文藝素養(yǎng)的重要幫手,無論是作為創(chuàng)作工具(大部分引擎)還是娛樂方式(現在至少Ace和小冰在走)都大有可為,然而現在的事實并非如此?,F在的情況是,知道像“初音未來”“洛天依”這樣的虛擬歌手的人可能不在少數,而懂得技術的人相對少了很多,真正的能創(chuàng)作的人更是少之又少,而大部分合成引擎由于種種原因上手門檻又很高。
……我們是無產階級的革命的功利主義者,我們是以占全人口百分之九十以上的最廣大群眾的目前利益和將來利益的統(tǒng)一為出發(fā)點的,所以我們是以最廣和最遠為目標的革命的功利主義者,而不是只看到局部和目前的狹隘的功利主義者。例如,某種作品,只為少數人所偏愛,而為多數人所不需要,甚至對多數人有害,硬要拿來上市,拿來向群眾宣傳,以求其個人的或狹隘集團的功利,還要責備群眾的功利主義,這就不但侮辱群眾,也太無自知之明了。任何一種東西,必須能使人民群眾得到真實的利益,才是好的東西。就算你的是“陽春白雪”吧,這暫時既然是少數人享用的東西,群眾還是在那里唱“下里巴人”,那么,你不去提高他,只顧罵人,那就怎樣罵也是空的?,F在是“陽春白雪”和“下里巴人”統(tǒng)一的問題,是提高和普及統(tǒng)一的問題。不統(tǒng)一,任何專門家的最高級的藝術,也不免成為最狹隘的功利主義,要說這也是清高,那只是自封為清高,群眾是不會批準的。
(摘錄自毛主席《在延安文藝座談會上的講話》,圈內外的現實狀況與這一節(jié)的描述如出一轍,但我建議通篇閱讀這篇著作,關于圈內的問題就都有了答案)
?
現在總有人說諸如“V圈在走下坡路(不景氣)”“虛擬歌手是小眾圈子,不該往大擴展”“不要破圈”等等的觀點,這或許與“圈子”內部分人的思想有關。我時常帶著不解的問題到毛主席那里去尋求答案,毛主席講,做創(chuàng)作的要從人民群眾的社會生活中取得材料,服務于最廣大的人民群眾。搞小圈子圈地自萌,“就算你的是‘陽春白雪’吧,這暫時既然是少數人享用的東西,群眾還是在那里唱‘下里巴人’,那么,你不去提高他,只顧罵人,那就怎樣罵也是空的?!彼裕瑹o論從虛擬歌手的技術發(fā)展,還是其作為虛擬偶像和粉絲群體的一系列活動,都需要遵循社會活動規(guī)律,都要為了最廣大群眾所需要而服務,不脫離群眾,所謂“圈子”的生態(tài)才會經久不衰。不同合成引擎及其旗下虛擬歌手的粉絲群體之間存在一些爭論,包括技術路線之爭,合成引擎之爭,粉哪個角色的爭論等等,雖早有耳聞,可實在不知道有什么爭論的必要,有那個精力還不如多向純路人做一些普及的工作,有能力的自己也可以去做一點提高的工作。概括起來就是,要破解癥結,需要擺正心態(tài),從群眾中來再到群眾中去,按客觀規(guī)律辦事。
?
對虛擬歌手而言,“破圈”是個好事情,是挑戰(zhàn),也是機遇,作為新的關注者,也需要訥于言,敏于行,博觀約取,厚積薄發(fā)。在偉大的“兩彈一星”精神的指引下,我們即將開始準備下一階段的試驗,強化遂行任務能力,挑選又一批技術進行驗證,又將迎來新的突破。新的征程,我們永遠在路上。
?
附:作品鏈接
【次世代新引擎試聽×技術試驗成果】何暢-春歸了(正樣成品出爐)-嗶哩嗶哩https://www.bilibili.com/video/BV1RK411n7dw?spm_id_from=333.999.0.0
【StudioVoICE 何暢】莫斯科郊外的晚上https://www.bilibili.com/video/BV1Ff4y1R7zQ?spm_id_from=333.999.0.0
【祝賀天問一號升空(偽MV向)】飛天利箭 何暢/小冰https://www.bilibili.com/video/BV1Qh411o7ww?spm_id_from=333.999.0.0
【技術實證】何暢 陳子渝 方念 語調向調教的改進嘗試https://www.bilibili.com/video/BV1wp4y1W7yq?spm_id_from=333.999.0.0
【大合唱】沒有共產黨就沒有新中國 赤羽 何暢 洛天依等https://www.bilibili.com/video/BV1Db4y167nh?spm_id_from=333.999.0.0
【八一專場】軍歌合唱《人民軍隊忠于黨》《我是一個兵》 何暢 赤羽 洛天依等https://www.bilibili.com/video/BV14b4y1z7K3?spm_id_from=333.999.0.0
【SYNTHV技術試驗曲】春歸了 赤羽https://www.bilibili.com/video/BV11M4y137xq?spm_id_from=333.999.0.0
工程文件https://www.vsqx.top/project/vn4445
?
【V4C技術試驗曲】春歸了 洛天依https://www.bilibili.com/video/BV1ah411W7xq?spm_id_from=333.999.0.0
工程文件https://www.vsqx.top/project/vn4444
(如有新上傳的補充在后邊)