兩年過去，A-SOUL 仍是國內唯一一家一直堅持 3D 實時直播的虛擬偶像企劃。

文 | 王毓嬋

編輯 | 喬芊

1 月，嗶哩嗶哩公布了年度百大UP主獎項，其中虛擬主播嘉然獲得了“直播年度最強艦隊”單項獎。這位來自虛擬偶像組合 A-SOUL 的女孩已經(jīng)連續(xù)兩年蟬聯(lián)百大UP主稱號。

A-SOUL 團體出道也恰好滿兩年。2020 年 11 月，A-SOUL發(fā)布了第一支宣傳 PV，并迅速成為行業(yè)焦點。兩年過去，它的數(shù)百萬“一個魂”（A-SOUL 粉絲名稱）們仍然保持著超強的觀看、二創(chuàng)和氪金能力。

A-SOUL 從出道至今，已經(jīng)完成了 600 場共 1000 小時的直播，這是一個很龐大的工作量。與“只用一臺電腦、一個人”就能完成的 2D 虛擬偶像直播不同，3D 直播仍然需要龐大的技術團隊和設計團隊支持。

兩年前，A-SOUL 的出現(xiàn)曾被粉絲戲稱為“V圈的黑船事件”，因為它以 3D 實時直播的方式?jīng)_擊了 2D 的V圈，就像 1853 年，美國海軍準將佩里駕駛黑船艦隊駛來日本，給睡夢中的幕府日本帶來騷動，最終導致日本走上了工業(yè)化和現(xiàn)代化之路一樣。

然而，兩年過去，A-SOUL 卻仍是國內唯一一家一直堅持 3D 實時直播的虛擬偶像企劃。想象中的行業(yè)巨變并沒到來，A-SOUL 目前仍然在國內V圈保持著一枝獨秀的地位——即便這一組合已經(jīng)反復證明了 3D 虛擬偶像的商業(yè)價值。

在二周年紀念直播中，A-SOUL 累計收獲了 2.7 萬名“艦長”。這一成績不光在 vtuber（虛擬主播）圈，即便在整個B站主播圈里，也是罕見的奇跡。A-SOUL 粉絲以“3 分鐘萬艦、1 小時 2 萬艦”這一創(chuàng)紀錄的速度，一度卡爆了B站的上艦接口，也刷新了由 A-SOUL 保持的虛擬偶像的直播紀錄。

為什么一定要做 3D 直播？為什么技術的普及比想象中更慢？二周年之際，一直保持神秘的 A-SOUL 團隊首次接受了 36氪的獨家專訪，第一次向外界展示了 3D 實時直播之困難與昂貴，以及技術和運營團隊在其中的付出。

以下是36氪與 A-SOUL 團隊的采訪實錄：

丨2D VS 3D，A-SOUL為什么選擇走更難的路？

Q：兩年前，A-SOUL 為什么決定以 3D 實時直播的方式來做虛擬偶像企劃？

A：2020年，當時做 3D 的企劃是不多的。我們作為行業(yè)的“新人”，并沒有太多地去考慮這個行業(yè)是怎樣的，而是重點思考了“虛擬偶像是一個怎樣的存在”。大家都覺得，虛擬偶像應該和真人一樣，具有真情實感，并且活靈活現(xiàn)。

為了提高真實感，我們開始自研技術。其中包括3D表情驅動、全身動作捕捉和手指動作優(yōu)化、自動適配肢體的重定向，基于XPBD原理且應用了SIMD優(yōu)化的實時物理解算等等。我們需要解決這一系列的技術難題，才能以較高的開播頻率，實現(xiàn)偶像和粉絲的雙向交流。

在項目成立之初我們就一直希望，大家所建設的枝江，能成為一個虛擬又真實的地方。

?（筆者注：“枝江”是官方設定中，A-SOUL成員們所生活的虛擬城市。）

Q：為了做虛擬偶像 3D 實時直播，A-SOUL 團隊前期做了哪些投入？

A：自從決定要做3D直播的虛擬偶像企劃開始，A-SOUL團隊投入了大量的心血，光是前期投入就高達九位數(shù)，包括打造獨家的動捕棚、自主研發(fā)專屬于A-SOUL的直播環(huán)境和軟件等。同時我們也走了很多的彎路，付出了很多的試錯成本。比如曾花了大量精力在AR云渲染上，但因無法做到高清流暢的體驗效果而暫停。

Q：實時動捕+3D 渲染具體能昂貴到什么程度？您能否給我一個 1 小時高質量 3D 直播的成本預估？

A：相比開播時投入的人力成本，其實前期和日常投入的成本才是巨大的。

前期的開播環(huán)境搭建投入高達九位數(shù)：包括了導播軟件架構鋪設，功能開發(fā)，原生資產(chǎn)制作（場景/角色/鏡頭/道具/特效等），渲染管線的鋪設，自建動捕棚，EFP直播線路搭建等。

我們每年為每一個角色的日常投入也是上千萬級別，其中包括 A-SOUL 幾位成員的薪酬福利和培訓，住宿安保經(jīng)紀支持，每年數(shù)套3D衣服、音樂、周邊的設計制作（上述每一套的完整周期都至少有半年），各種與單一角色相關的商業(yè)權益及相關制作，針對每一位 A-SOUL 成員定制化的動捕設備和動捕軟件持續(xù)優(yōu)化（3D打印適配頭型的頭盔，根據(jù)臉型的面捕適配、動捕綁定和優(yōu)化解決各種多人交互動作帶來的不穩(wěn)定和穿模優(yōu)化等）。

而每場大活的投入也在數(shù)百萬這個級別。大活為了更好地呈現(xiàn)多人舞臺效果，會適配大型的多人燈光系統(tǒng)，加上一系列的鏡頭設計制作，大量的3D場景、新特效，甚至一些復雜度極高的AR實時直播效果。

Q：假設 A-SOUL 是在 2023 年的今天開啟同規(guī)格的企劃，前期成本是會因為技術進步而更低，還是會因為行業(yè)溢價而更高？

A: 從?A-SOUL 首播至今已經(jīng)兩個年頭了，國內市場上也出現(xiàn)了許多類似的虛擬偶像企劃，同時直播內容也變得多樣起來，在內容制作層面投入也變得更高。但在研發(fā)和制作管線上，已經(jīng)變得標準了很多，技術成本和使用門檻也會持續(xù)因標準化提高而降低。A-SOUL 在過去 2 年內也不斷地去做各種嘗試，付出了很多的沉沒成本，積累出來的這些經(jīng)驗希望能夠成為行業(yè)發(fā)展道的養(yǎng)分。相信在 2023 年，以及未來的一些年頭里，國內虛擬偶像內容會進入一個百花齊放的時代，大家能同屏，同場景互動。這時候成本也許會更高，但這種投入是值得的。

Q：3D 實時直播技術難點具體有哪些？

A：3D 實時直播的難點，要拆分成“3D 制作”和“實時直播”兩方面。選擇這個賽道，在內容制作上我們就會面臨兩個傳統(tǒng)行業(yè)都會面臨難題。就好比玩Roguelike游戲那樣，在困難模式上，疊加了若干個debuff。

在 3D 制作上：原畫設計、建模、地圖、材質、綁定、layout、動畫、攝影、燈光、渲染、特效等都是環(huán)環(huán)緊扣的，哪一環(huán)缺了，都會導致整體視覺效果下降，因此做好品控是我們天天關注的事情。

在“實時直播”上：最考驗團隊的是沒有“NG”的機會，每周直播呈現(xiàn)出來的效果都是“一 Take 而過”的。現(xiàn)場各單位都需要高度緊張，緊密配合，容不得出錯，每一個小失誤都會被直播出去。這也和那句老話說的一樣，臺上三分鐘臺下十年功。當然，我們在這塊下的功夫還遠遠不夠。

既要完整地呈現(xiàn)出精心準備的內容，又要注意實時直播中不要出錯，其實是非常難的一件事情。團隊也沒少撞過墻，出現(xiàn)過直播穿模、卡頓，林林總總一籮筐的問題。但即便是這樣，我們仍舊覺得，3D 實時直播就是目前最能展現(xiàn)虛擬偶像優(yōu)勢、與觀眾密切互動的方式，這是我們會一直堅持做下去的事情。

Q：A-SOUL 至今已經(jīng)開播兩年了，完成了600多場、超過 1000 小時的直播，這是一個很龐大的工作量。在這個過程中，占據(jù)了最多人工勞動的是哪個環(huán)節(jié)？

A：其實A-SOUL團隊的分工是相對平均的。我們沒有用到常規(guī)視頻和動畫制作中的“堆編導”、“堆3D建?！?、“堆動畫師”的模式，而是采用了更加可持續(xù)發(fā)展的分工模式，介紹一下我們的分工吧：

產(chǎn)品需要做開發(fā)計劃和保障方案，保障項目開發(fā)和現(xiàn)場直播質量，讓內容能夠完高質量地呈現(xiàn)；

技術需要完成軟件層面的開發(fā)工作，確保每個軟硬件的順利運行，同時持續(xù)探索、研究技術；

美術需要持續(xù)進行美術風格調研，迭代美術效果，不斷提升服裝、場景、道具、鏡頭、燈光等的視效質量；

內容運營需要和 A-SOUL 成員們一起進行頭腦風暴，規(guī)劃好每場直播內容，做好節(jié)目和表演的創(chuàng)新，并負責視頻的更新等；

導演導播需要和 A-SOUL 成員們一起一遍遍地彩排，準備直播素材，溝通直播中的鏡頭調度細節(jié)，音樂音效的配合，卡點的舞美效果等；

經(jīng)紀人需要關注成員的日程安排，和聲樂老師、舞蹈老師一塊指導成員，提升舞臺表演能力；

還有營銷、商務等職能，支持著企劃的品牌、商業(yè)化等經(jīng)營工作；

當然最離不開的是 A-SOUL 成員們在每一個排練日、彩排日、直播日所付出的汗水。

我們覺得把整個團隊凝聚起來，才能不斷地事情做好，不斷去深挖這個賽道的可能性，做出有高度的事情。二周年紀念直播中，我們首次在片尾放出了staff名單，也讓粉絲們第一次直觀認識了團隊的“工具駝們”（筆者注：A-SOUL工作人員的形象常展示為羊駝）。

Q：3D 直播的節(jié)目設計難度與 2D 相比完全不是同一個維度，A-SOUL 團隊是如何做節(jié)目設計的？設計師要考慮的因素有哪些？

A：相比2D，3D 直播中的人物可動性更強，空間更加“真實”，視角也更加多變。這需要設計師們更全面地考慮三個問題：

一，內容需要考慮人物肢體發(fā)揮和表演情境，人物表現(xiàn)才能更生動；

二，設計的內容需要考慮空間關系，提高觀眾的代入感，如虛擬人物和場景物品的位置關系、聲音在空間里的傳播效果等，如果沒有處理好，觀眾就很難沉浸其中。

三，內容需要考慮觀眾視角，直播時鏡頭就是觀眾的眼睛，我們需要思考觀眾在每個時間段想看什么，不想看什么。

另外，企劃一直以來都有一個目標，就是“充分發(fā)揮虛擬制作的優(yōu)勢，做出真人直播難以做到的內容”。過去我們做了很多這方面的內容創(chuàng)新，如：一周年紀念的御劍飛行、貝拉 50 萬粉紀念的與心魔決戰(zhàn)、2022 乃琳生日會的與光共舞等。我們未來的目標沒有變化，會持續(xù)地做這方面的內容創(chuàng)新，希望能給觀眾帶來更多奇妙的體驗。

丨沒有參照物的冒險，A-SOUL團隊探索虛擬偶像的邊界

Q：A-SOUL團隊技術進化最主要的目標是什么？在“更高的清晰度”、“更細微的表情”、“更流暢的動作”、“更豐富的場景”、“更多樣的交互”這幾個假設的方向之中，哪一個優(yōu)先級最高？為什么？

A：首先，我們認為在“表情”、“動作”方面，做得還很不足，必須保持在這兩方面的投入。“表情”和“動作”是基礎，只是我們一直還沒有做得很好。企劃原本使用的是基于 iPhone arkit 的面捕方案，但是我們發(fā)現(xiàn) arkit 的捕捉精度并不足以生動地展示二次元人物的口型和表情。 因此我們下決心自研了一套針對二次元角色的面部捕捉方案，包括了軟件和配套的頭盔硬件。在持續(xù)的版本迭代中，我們在不斷提升偶像們的表情細膩度。

其次，我們在研發(fā)方面的投入遠不止這幾點，在眾多的投入上，我們面臨的不是一個優(yōu)先級的問題，而是一個“閾值”問題。做好內容，不代表需要把某一個技術點做到一個非常高的水平，我們一直在研發(fā)和內容制作上，尋找一個平衡點，少一點溢價的無謂投入，多一些在未來能發(fā)揮真正收益投入。我們不希望技術創(chuàng)新脫離了業(yè)務本質，也許熵增是無法避免的事情，但我們可以把它放緩。

Q：之前?A-SOUL 團隊和 PICO 團隊合作舉辦了國內第一場虛擬偶像的 3D 實時演唱會 LIVE SHOW，這件事最大的挑戰(zhàn)體現(xiàn)在哪里？在這樣的困難下，為什么 A-SOUL 仍然決定要去完成它？

A ：目前 3D 實時直播的業(yè)務形態(tài)與內容傳達方式，仍處于起步階段。企劃不會放過任何一個業(yè)務探索與內容創(chuàng)新的機會。我們認為在 VR 加持下，觀眾是能夠在沉浸感方面獲得觀影提升的，同時在 VR 直播中融入的互動小游戲，也能提高觀眾的參與感。

這場 3D LIVE SHOW 最大挑戰(zhàn)還是在于性能方面。目前 VR 一體機的性能確實和 PC 相比還有距離，為了在 VR 一體機上獲得與 PC 一樣的渲染質量，我們協(xié)同 PICO 團隊一起打通了國內首例的 VR 虛擬視頻流直播鏈路：針對VR設備的直播，內容渲染壓力和視頻流傳輸帶寬要求都要遠大于正常直播。團隊在分布式渲染、云上導播合成、視頻編解碼等方向都做了大量的開拓性工作，完成了這場里程碑式的SHOW。 整個研發(fā)過程中我們沒有太多一手經(jīng)驗，整個開發(fā)過程都屬于摸著石頭過河，但我們認為這是一個難而正確的事情。未來這樣的業(yè)務創(chuàng)新挑戰(zhàn)還是會有很多的，困難一直都在。

Q：A-SOUL 在 12 月完成了二周年紀念直播，在籌劃過程中，最大的技術挑戰(zhàn)體現(xiàn)在哪里？

A：在產(chǎn)品技術方面，我們主要有兩方面的工作：一塊是軟件開發(fā)，一塊是硬件運維。這兩塊工作當時都遇到了前所未有的挑戰(zhàn)。

Q：軟件開發(fā)上具體遇到了哪些困難？團隊是如何克服的？

在軟件層面最大的挑戰(zhàn)是“搶進度，趕版本”。在二周年直播里面我們上線了一些新功能和新效果，如新的二次元角色渲染管線、新的燈光系統(tǒng)、更復雜的實時運鏡系統(tǒng)、分布式的導播交互、升降和飛行的舞臺、無縫切換的大場景等等，希望能夠打磨出“新枝江”的視覺效果——比如酷炫的舞臺燈光、各種飛行舞臺、頭發(fā)和裙擺飛揚起來的效果、在城市上空的大舞臺多光源的表現(xiàn)、貼近打歌舞臺的運鏡、模擬物理世界的晝夜系統(tǒng)等等。二周年整個開發(fā)周期為3個月，在3個月內需要完成上述的新功能開發(fā)，還同時并線開發(fā)著PICO演唱會。這對開發(fā)團隊造成了非常大的壓力。

其實還有一個事情是我們一直沒有對外公布，那就是團隊在22年年初決心把整個渲染和導播體系切換到新的引擎架構下。新的架構采用了全分布式設計，突破了老版本的渲染瓶頸；采用了多級導播體系，并且能夠多人同時操作，拔高了直播內容的上限。 這是一件非常需要勇氣的事情，開發(fā)組需要在保持老架構正常直播迭代的前提下，開發(fā)新的架構，并分階段安全上線，這和給飛行中的飛機換引擎一樣困難，而二周年也是第一次基于新引擎架構做的各種新功能開發(fā)。

另外由于二周年的歌舞表演非常多，我們還提前超過一個月的時間來排練走位和動作，以及成員和導演組的配合。當開發(fā)與彩排并行推進時，測試難度和Bug的修改難度就會提升一個難度。

Q：在籌備二周年紀念直播時，團隊又遇到了哪些硬件運維上的困難？

在硬件層面，雖然我們已經(jīng)在技術方案上采用了“分布式導播體系”，把渲染任務進行了多臺機器拆分，但渲染壓力依然很大，為了保持全程60幀的渲染質量，也對我們的機器進行了一輪配置升級：給所有渲染電腦都換上了4090。

果然，我們也未能逃脫燒接口的命運。在距離直播沒幾天的時候，原生16Pin接口燒了。為此，粉絲也在動態(tài)里紛紛為我們出謀劃策，我們除了更換所有電腦的電源和電源線外，還準備了一大批的備用顯卡，組織了滅火器的使用學習和操作演練。但其實我們還提前開發(fā)了熱備系統(tǒng)，渲染機器在主路信號崩潰的情況下，是能夠馬上切換成備路的信號的，只要不同時燒掉主備路，直播都能正常播出。但這次直播也并非盡善盡美，還是出現(xiàn)了一些卡頓等情況，這些都已經(jīng)第一時間詳細記錄并進入排查階段。

經(jīng)過了二周年的這一次奮戰(zhàn)，不僅讓企劃的開播工具開發(fā)進度往前突進了一大截，還讓團隊感受到了奮斗的喜悅感。這份經(jīng)歷，這份回憶，是真珍貴，是值得回味的。

Q：A-SOUL團隊為二周年直播準備了比以往更宏大的場景和舞臺，為什么“突破直播間的邊界”是有必要的？

A：更宏大的場景是必定會帶來更大的工作量和更高的算力要求的，以往我們的舞臺都只是著重于去完成舞臺的主結構部分的模型制作，這次我們?yōu)榱吮磉_出我們想傳達給一個魂（A-SOUL的粉絲名）們的信念，造了一座等比例的城市，一片會有晝夜變化的天，一片真實物理模擬的海。枝江，在過去兩年來，設定都是偏向抽象含糊的，大家知道 A-SOUL 的 4 位成員是生活在枝江這片土地上的，但其實從來沒有呈現(xiàn)一個“具體的枝江”出來。乃琳的飄雪房間在哪？貝拉的練舞室在哪？向晚的電競臥室在哪？嘉然的小木屋又是在哪？

為了豐富世界觀和場景的設定，我們決定狠狠地下血本：一起好好地建設枝江吧！那初次相遇的教室，那飄雪的窗戶，那櫻花飄落的樹下，那個約定好的天臺，那旋轉的木馬......過去總總的片段應該被連成一線。也希望有一天，A-SOUL與一個魂能在枝江的轉角處遇見。

Q：除了直播，A-SOUL團隊有考慮將目前的技術和 IP 應用到更豐富的場景中嗎？比如動畫、游戲甚至元宇宙？

A：對于行業(yè)來說，動畫、游戲甚至元宇宙都是很有意義的嘗試，但并不是現(xiàn)在的A-SOUL要做的。A-SOUL目前的價值來源于“面對面”直播產(chǎn)生的“高頻”“互動感”和“距離感”。這些是團隊、粉絲們都認同的優(yōu)勢，我們希望可以好好保持，秉承初心，做好該做的事。除此之外，我們也不希望用已有的一些內容形態(tài)和主觀意識去“定義”A-SOUL。

放在百年影視的歷史上來看，目前虛擬偶像是一種非常新的內容形態(tài)。相信未來，這會是一種主流的內容形態(tài)。電影，動畫，游戲，直播，是會相互結合，并誕生出新形態(tài)的，這將不再會有明顯的界限。這份對未來的熱血澎湃，是我們心之所想，也是作為一個內容從業(yè)者希望看到的事情。

Q：A-SOUL 認為自己最大的優(yōu)勢在哪里？

A：A-SOUL最大的優(yōu)勢應該是：真。

一開始，由于我們的目標是做實時直播，所以就沒法通過后期剪輯去蕪存菁，我們無法去修飾瑕疵。后來我們發(fā)現(xiàn)，其實觀眾是有一定的包容度的，也是希望看到我們成長：當我們努力奮斗的時候，粉絲們會不吝夸贊；當我們自滿懈怠停滯不前的時候，粉絲們會不斷鞭策。我們的郵箱每天都能收到很多粉絲的反饋和建議，這是我們動力的來源。

因此后來我們就更加堅定了：研發(fā)的每一個技術難點，我們都不會因為難就取巧規(guī)避；直播的每一個表演，我們都要一塊為直播效果付出汗水；枝江的每一段故事，都和伴隨著企劃成長的所有人，一起譜寫出來。

以上文章轉載自網(wǎng)站36氪。請支持原創(chuàng)?。ㄇ謩h）

轉載源：

https://www.36kr.com/p/2042024214007041

本文圖片來自：企業(yè)授權

初衷是希望大家多多支持A-SOUL~

關注A-SOUL：

嘉然（???@嘉然今天吃什么? ）：https://space.bilibili.com/672328094

向晚（???@向晚大魔王? ）：https://space.bilibili.com/672346917

乃琳（??@乃琳Queen? ?）：https://space.bilibili.com/672342685

貝拉（??@貝拉kira? ?）：https://space.bilibili.com/672353429

A-SOUL官方（??@A-SOUL_Official? ? ）：https://space.bilibili.com/703007996