在不為人知的地方傾注著熱情”ANYCOLOR技術(shù)團(tuán)隊(duì)談起關(guān)于虛擬演唱會(huì)的執(zhí)著
本文為MoguLive 2022.04.21對(duì)彩虹社做的相關(guān)專題報(bào)道，周報(bào)對(duì)文章做了簡要翻譯，如有錯(cuò)漏歡迎評(píng)論區(qū)私信指出
原地址：https://www.moguravr.com/nijisanji-interview-4/
另一篇采訪：
VTuber團(tuán)體【NIJISANJI】，通過策展虛擬演唱會(huì)、綜藝節(jié)目等豐富多彩的活動(dòng)，帶給粉絲們一次又一次驚喜。特別是2021年下半年推出的各種以超越《“LIGHT UP TONES”》，嘗試挑戰(zhàn)更多表現(xiàn)形式為目標(biāo)的企劃令人目不暇接。
繼上次MoguLive與ANYCOLOR公司的日本地區(qū)VTuber事業(yè)統(tǒng)括制片人，鈴木貴都先生的訪談，這次對(duì)同公司的3D導(dǎo)演，古藤惠司先生和3D軟件開發(fā)團(tuán)隊(duì)的北脅先生進(jìn)行了采訪。由他們來為我們說說，支撐著急劇變化中的【Nijisanji】的，那份對(duì)于技術(shù)的執(zhí)著之心。
以“可以毫無違和感地享受”為目標(biāo)
——就算是在2021年彩虹社的活動(dòng)中，有較大反響的活動(dòng)也還是《“LIGHT UP TONES”》。在那個(gè)演唱會(huì)之后，AR演唱會(huì)方面的技術(shù)進(jìn)展如何？
古藤：
雖然是個(gè)不去比較會(huì)場(chǎng)現(xiàn)場(chǎng)和線上直播就注意不到的點(diǎn)……。開展線下演唱會(huì)的時(shí)候，一部分內(nèi)容現(xiàn)場(chǎng)會(huì)用AR來展現(xiàn)Liver。在那種情況下，不用做任何處理，Liver就可以同時(shí)在AR和（現(xiàn)場(chǎng)使用的）LED監(jiān)視器上顯示。然后就能直接將在現(xiàn)場(chǎng)舞臺(tái)的LED監(jiān)視器中放出的Liver的影像處理成只在演唱會(huì)錄像中不出現(xiàn)。
鈴木：
比如說，《月之美兔在箱子里（※）》的這個(gè)剪輯版的話。里面能看見的是LED監(jiān)視器上內(nèi)容，而現(xiàn)場(chǎng)放出月之（美兔）的監(jiān)視器是這個(gè)。但是，現(xiàn)場(chǎng)操作展現(xiàn)出的她是通過AR站在舞臺(tái)上的，原來在現(xiàn)場(chǎng)監(jiān)視器里放的內(nèi)容，在剪輯版里是沒有的。
※《月之美兔在箱子里》：是2021年11月16日舉辦的，月之美兔的1st單人演唱會(huì)。
——（一邊看著錄像）確實(shí)……!
古藤：
順帶一提，這個(gè)操作并不是只是單純的在上面把它填充成黑色，而是在LED監(jiān)視器顯示的VJ影像和背景影像中，只把Liver的3D模型設(shè)置成不顯示的模式。
鈴木：
雖然要解釋起來很麻煩……現(xiàn)場(chǎng)直接能看到的LED面板是為了能直接受到現(xiàn)實(shí)的光線影響而沒有進(jìn)行什么特殊處理的，而現(xiàn)場(chǎng)的AR影像以及虛擬空間影像則會(huì)通過軟件對(duì)LED面板進(jìn)行光影加工處理，所以色調(diào)能夠根據(jù)現(xiàn)場(chǎng)的光線變化而變化。另外，Liver在現(xiàn)場(chǎng)的影像中所展現(xiàn)出來的形象，也受到光照條件的影響而會(huì)有所改變。在諸如此類的細(xì)節(jié)中我們做了很多的調(diào)整。
?
——這也是個(gè)不說就注意不到的點(diǎn)呢。但是的確，調(diào)整與否會(huì)對(duì)舞臺(tái)的視覺效果產(chǎn)生巨大的影響。
古藤：
調(diào)整起來很麻煩呢。要對(duì)（會(huì)場(chǎng)）全體的亮度和光線的顏色會(huì)造成的影響進(jìn)行調(diào)整的話，應(yīng)該必須得去到現(xiàn)場(chǎng)才能進(jìn)行最終調(diào)整吧。
北脅：
是呢?，F(xiàn)場(chǎng)的環(huán)境如何、實(shí)際使用的攝像機(jī)所預(yù)設(shè)的最大進(jìn)光量的多少，都會(huì)讓呈現(xiàn)出來的樣貌發(fā)生翻天覆地的變化。每次演唱會(huì)的前一天都會(huì)爭(zhēng)論到深夜……。
鈴木：
會(huì)一直忙到深夜3點(diǎn)左右呢（笑）。雖然只要不說的話誰都不會(huì)注意到，但對(duì)于我們來說還是想要達(dá)到“可以毫無違和感地享受”的目標(biāo)。平時(shí)在享受別的演出者的現(xiàn)場(chǎng)演出的時(shí)候，也不會(huì)在意那么細(xì)節(jié)的地方嘛。所以說，雖然“沒注意到這些（細(xì)節(jié)）“才是正常情況……。但不管是古藤還是北脅都這么努力了，想把這些都盡可能的展現(xiàn)出來！“
?
——順帶一提，工作人員的增加對(duì)這樣的技術(shù)發(fā)展有影響嗎？
鈴木：
直到《月之美兔在箱子里》，（3D軟件開發(fā)的）工作人員都還沒增加吧？
北脅：
還沒增加。使用的技術(shù)是在AR演唱會(huì)（※《“LIGHT UP TONES”》）中的應(yīng)用。這也與之后想要做的事情有關(guān)系，但估計(jì)還需要收集更多現(xiàn)場(chǎng)狀況的信息，像是舞臺(tái)中空氣的感覺，光的投射方式等等。若是能夠在得到更多情報(bào)的基礎(chǔ)上把我們想做的表現(xiàn)出來的話，演唱會(huì)也應(yīng)該能夠變得更加真實(shí)。我認(rèn)為只有到了這一步，我們才能自豪地說我們實(shí)現(xiàn)了“技術(shù)性地發(fā)展”……。我們想要做的事情還有很多，為此也有在增加工作人員。
在和Liver一同奮斗中衍生出的新技術(shù)
——最近諸如《雙飛跳繩企劃（※）》，《NJU歌謠祭2021（※）》等企劃很火。特別是在《雙飛跳繩企劃》中，用到的對(duì)物體對(duì)象進(jìn)行捕捉的技術(shù)也非常具有挑戰(zhàn)性。實(shí)現(xiàn)這些不同的項(xiàng)目的流程是怎樣的呢？
※雙飛跳繩企劃：2022年1月3日公開的視頻企劃“#彩虹社跳繩 第一屆彩虹社跳繩大會(huì)”。讓擁有3D模型的Liver們挑戰(zhàn)雙飛跳繩，并比拼個(gè)數(shù)。
※NJU歌謠祭2021：2021年年末最后一天舉行的，58名Liver一起出演的歌謠祭。
古藤：
基本上都是Liver那里提出“能不能做這種事情”的提案，“不知道能不能試試研究下這個(gè)……”一邊這么說著，一邊在私下和工作人員們開始研究。在收到提案1~2月之后，“完成了！”像這樣來報(bào)告之后，像是《雙飛跳繩企劃》，《潤滑液冰壺（※）》等等，這樣的企劃就實(shí)現(xiàn)了。
※潤滑液冰壺：2021年7月10日公開的視頻企劃“【男子漢企劃】第一回·Nijisanji潤滑液冰壺錦標(biāo)賽”。舞元啟介等一眾男Liver，在涂上了潤滑液的賽道上自己滑行，將停下來的位置為基準(zhǔn)計(jì)分并比拼計(jì)分。
?
——也就是說是根據(jù)Liver的提案來積攢對(duì)技術(shù)的運(yùn)用經(jīng)驗(yàn)?zāi)亍?/strong>
古藤：
雖然有很多亂來的提案，但工作人員也會(huì)說“嗯……盡可能……盡可能試試看！”，我們的諸多企劃就是靠著他們這樣的熱情實(shí)現(xiàn)的。之前的《雙飛跳繩企劃》的話，因?yàn)檎f到底，“捕捉跳繩”這種例子根本就沒有看到過，所以決定不用一般用的跳繩，而是從“什么樣的跳繩更合適被3D動(dòng)捕捕捉？”開始討論。
還有就是，演播室用的道具大部分都是自己做的。但是不管怎么說，沒看到實(shí)物的話，也不會(huì)知道什么樣的才是適合企劃的，所以工作人員們經(jīng)常會(huì)去逛コーナン（建材超市）。
?
——《潤滑液冰壺》和《雙飛跳繩企劃》都是經(jīng)過非常踏實(shí)的努力所產(chǎn)出的結(jié)果呢。
古藤：
《潤滑液冰壺》也有很多大力出奇跡的部分呢。雖然已經(jīng)過工作人員的驗(yàn)證了，但是要一邊考慮安全，一邊保護(hù)器材，又要方便滑……這都是很難平衡的事情。研究的重點(diǎn)就是在腳上戴上什么才能既方便滑，又能保護(hù)器材和參與者……當(dāng)找到了合適的組合的時(shí)候，大家都?xì)g呼起來了呢（笑）。雖然穿戴整齊的大人在錄播室用著潤滑液滑，但是我們是認(rèn)真的。
北脅：
就算是從開發(fā)應(yīng)用的立場(chǎng)來看，《雙飛跳繩企劃》和《潤滑液冰壺》也傳達(dá)了錄播室中的大家的努力?！禢JU歌謠2021》等企劃中，在攝影方面使用了應(yīng)用，應(yīng)用軟件上實(shí)現(xiàn)的功能也在增加，演播室的大家也能夠很好地使用它們，這些都讓我非常高興。
古藤：
最近，加入了3D直播時(shí)使用的手持虛擬攝像機(jī)。這個(gè)攝像機(jī)和真實(shí)的攝像機(jī)一樣，有變焦和防抖功能，使用起來非常趁手。
?
——“Niji3D（※）”應(yīng)該是會(huì)定期進(jìn)行更新的，這些在未來也會(huì)有進(jìn)一步發(fā)展嗎？
※Niji3D：Nijisanji Liver在家里進(jìn)行3D直播時(shí)使用的軟件。
北脅：
“Niji3D“的開發(fā)團(tuán)隊(duì)因?yàn)槿耸植蛔?，現(xiàn)在處于運(yùn)作期。不過，隨著人員的增加，現(xiàn)在也在熱烈討論著諸如改善3D表現(xiàn)技術(shù)之類“想盡快實(shí)現(xiàn)的功能”的話題。
雖然“Niji3D”已經(jīng)停更了很長一段時(shí)間，但之后使用它的人應(yīng)該會(huì)越來越多，所以我們想在比如增加動(dòng)捕方式等方面進(jìn)行更新。
?
為了讓大家看到“Liver是這樣存在于此的”
-——近來見到了許多使用各家VR平臺(tái)進(jìn)行活動(dòng)的VTuber。在那之中，Nijisanji也給人一種推出了許多使用了AR的企劃，服務(wù)等的印象。在那方面有什么戰(zhàn)略部署嗎？
鈴木：
我們認(rèn)為讓大家感覺到“Liver在現(xiàn)實(shí)中是這樣存在于此”是非常重要的。所以在線下演唱會(huì)會(huì)使用等身大小，在AR上下功夫，嘗試通過這些措施把Liver推向現(xiàn)實(shí)世界。
古藤：
為了能讓大家感覺到他們“就在那里”，我們對(duì)AR表現(xiàn)有個(gè)特別的要求，也就是“能與實(shí)際景物中存在前后位置關(guān)系的平面發(fā)生互動(dòng)※”的情況。Liver可以出現(xiàn)在實(shí)際存在的“前面”，也能隱藏在“后面”。雖然用AR可以通過合成現(xiàn)實(shí)里沒有的東西來降低成本，但是那樣做的話“就在那里”的感覺會(huì)沒有那么強(qiáng)。
（※通常情況下，AR是通過在攝像機(jī)圖像前放置一層3D模型來實(shí)現(xiàn)的，但是單純地放放上去的話，會(huì)因?yàn)長iver在背景的臺(tái)子的上面一個(gè)圖層而不能做出“Liver藏在某物后面”這樣的動(dòng)作。因此，ANYCOLOR公司正在實(shí)裝一個(gè)能夠“干涉實(shí)際存在的前后平面”的技術(shù)。這就是他們專注于“能讓大家感覺到‘Liver就在那里’”的閃光點(diǎn)）
（注意上面圖片中卡通人偶的頭部。一般的AR演唱會(huì)中，經(jīng)常使用的方法就是把地面和虛擬場(chǎng)景調(diào)換，但那樣的話，舞臺(tái)就會(huì)穿過卡通人偶的腦袋，頭部就會(huì)看上去是被切掉了一樣。但是ANYCOLOR公司開發(fā)的AR表現(xiàn)是不將地面作為虛擬場(chǎng)景進(jìn)行生成，而是在實(shí)際舞臺(tái)的地面上，將Liver和背景圖像進(jìn)行倒影處理。相當(dāng)突出人物的存在感的獨(dú)特演出就能這樣付諸現(xiàn)實(shí)了。）
古藤：
在《月之美兔在箱子里》中，月之提出了“想指著一個(gè)看上去像UFO的氣球”的演出提案，最后給出的方法是“其實(shí)可以在AR中指向一個(gè)現(xiàn)實(shí)中存在的氣球，再把那個(gè)氣球拍進(jìn)去”。我們也在像這樣積極地針對(duì)AR演出做出提案。希望在之后的Live中大家也能夠多留意那樣的演出。
北脅：
葛葉的演唱會(huì)（※）中，在用AR放出葛葉之后，又用同一臺(tái)攝像機(jī)拍了觀眾席。
※葛葉的演唱會(huì)：《Kuzuha Birthday Event『Scarlet Invitation』》。2021年11月10日開演，是葛葉的生日演唱會(huì)。
鈴木：
在觀眾席和舞臺(tái)離得很近的會(huì)場(chǎng)進(jìn)行AR演唱會(huì)也是我們第一次的嘗試，想要讓大家在那種距離感中感覺到“Liver就在舞臺(tái)上站著！”，而投入了大量的精力。
?
——確實(shí)被那種角度驚到了。只是，越是專注于細(xì)節(jié)的AR演出，看上去越是自然，這又會(huì)很難傳達(dá)出這項(xiàng)技術(shù)本身的“厲害程度”。不過這也是為了能夠單純地享受娛樂吧。
鈴木：
沒錯(cuò)。所以，我們覺得就算反復(fù)弄了很多次，但“（在看演唱會(huì)的時(shí)候）就算注意不到也沒關(guān)系”。
?
——在不久之后的《Nijisanji Fes 2022（※）》這個(gè)大型企劃的備戰(zhàn)過程中，有什么技術(shù)上的挑戰(zhàn)嗎？
※Nijisanji Fes 2022：預(yù)定在2022年10月1日～10月2日期間展開的活動(dòng)。在幕張會(huì)展中心，也包括中止的《Nijisanji Anniversary Festival 2021》企劃，預(yù)定會(huì)實(shí)施各種各樣的企劃。
鈴木：
預(yù)定將會(huì)提高因《Nijisanji Anniversary Festival 2021》中止的《虛擬鬼屋“NIGHTMARE”》企劃的質(zhì)量。為此，我們招募了鬼屋的制作人，打算做到“PG12“級(jí)別的恐怖程度。但打算避開怪異的表現(xiàn)。
北脅：
我們還想找機(jī)會(huì)披露一點(diǎn)本打算在《FANTASIA》上公布的演出方面的東西。
鈴木：
《“LIGHT UP TONES”》的反響特別好，有不少“希望能再開一次”這樣的呼求，可是也不好辦一次一模一樣的Live。不過還是想加點(diǎn)東西來提高對(duì)于觀眾來說的附加價(jià)值。
?
——最后，技術(shù)團(tuán)隊(duì)的兩位是否對(duì)未來有什么期望，或有什么想向周圍人傳遞的信息？
古藤：
3D動(dòng)捕對(duì)我們來說還是需要攻克的課題，我希望能夠消除技術(shù)方面的煩惱。還有“四足行走”，我認(rèn)為也差不多必須得多放點(diǎn)心在上面了……
?
——“四足行走”的話，也就是說是“那位（※）”……？非常期待。
北脅：
我們現(xiàn)在缺少能夠應(yīng)對(duì)新的方面從而拓展我們的表現(xiàn)能力的設(shè)備與方案，如果能有來自其他公司的“可以用我們的技術(shù)！”的支援意向的話，請(qǐng)務(wù)必和我們商談。
鈴木：
如果能聽到來自希望與我們合作的伙伴的意見，那就更好了。還有就是，想要在敝公司工作的各位也請(qǐng)務(wù)必！
——非常感謝。
執(zhí)筆：淺田カズラ
編輯：ゆりいか
整理排版：彩虹周報(bào)編輯部 徐淵玄kuto
翻譯：彩虹周報(bào)翻譯部??hiza，d庫? 雫石ハナビ
