バーチャルシンガーを?qū)g在化させる技術(shù)と演出の実踐的報告

TechnologyandInnovationtoBringVirtualSingerstoRealExistence

佐久間　洋司 HiroshiSakuma 大阪大學(xué)，（株）深化OsakaUniversity／FUKAIKAhiroshi.sakuma@acm.org,https://hiroshi-sakuma.com

PIEDPIPER（株）THINKR，（株）深化THINKR／FUKAIKAhttps://twitter.com/PIEDPIPER2045,https://thinkr.jpKeywords:virtualsinger,virtualbeing,real-timerendering,virtualproduction,voicesynthesizer,usergeneratedcontents.

1．はじめに　
　　バーチャルビーイングの社會実裝の例としてあげられる主要な事例の一つが「バーチャルシンガー」である．本稿では，エンタテイメントの現(xiàn)場におけるバーチャルシンガーのプロデュースに関する実踐的な報告を行う．そもそもバーチャルシンガーとは，3Dモデリングされたアバタを用いて活動するアーティストを指し，ミュージックビデオの制作やライブの出演などをアバタ越しのバーチャルな存在として行う．同じくキャラクターとしてのアバタを用いた動畫投稿やストリーミング配信を行う「バーチャルYouTuber（VTuber）」が若年層を中心に人気を集める中で，並行して発展してきたアーティストの一つの活動の方法である．　
　　クリエイティブプロダクションであるTHINKRは，複數(shù)のバーチャルシンガーや作曲家を抱えている．それらのコンテンツのプロデュースやクリエータのマネジメントを行っているのが「KAMITSUBAKISTUDIO」である．このスタジオでは，バーチャルシンガーの文化を代表する一人である花譜のプロデュースを行ってきた．花譜のYouTubeにおける動畫の総再生回數(shù)は2億回を超えており，國內(nèi)外に熱狂的なファンコミュニティをもっている．
　　前例の少ないバーチャルシンガーという新しい可能性を開拓するうえで研究開発は必須である．音楽制作や日々の演出にかかるプロデュースはもちろん，新型コロナウイルスの影響によって，リアル會場のないバーチャルライブを?qū)g施する必然性も生まれ，バーチャルシンガーを?qū)g在化させるためのさまざまな取組みを行ってきた．本稿ではこれらのバーチャルライブなどを支える技術(shù)やアイディアについても紹介する．

2．バーチャルシンガーのプロデュース　
　　KAMITSUBAKISTUDIOを代表するアーティストがバーチャルシンガーの花譜である．花譜は2018年10月18日に『花譜#01』という動畫をアップロードするタイミングでデビューしたが，當時は地方に住む13歳の中學(xué)生であった．音楽アプリで配信をしていた花譜の演者（以下，オリジンと呼ぶ）に対して音楽活動に興味がないか聲をかけ，アーティストとしてデビューする方法を模索するなかで，學(xué)業(yè)や生活と両立しながら，地方からでも活動が可能かつオリジン本人が顔を出さなくてもよい方法として，バーチャルシンガーが見いだされた．そのように年齢や生活，場所を問わず歌聲を世の中に屆ける柔軟な活動ができるのが，バーチャルシンガーの強みである．　
　　また，バーチャルシンガーとしての活動は，リアルのアーティストと異なり，コンテキストの設(shè)計，アバタのデザインや3Dモデリング，ミュージックビデオやライブなどの映像制作が複雑に絡(luò)み合う．そのため，「花譜」は一人のアーティストであると同時に，チームワークでつくる総合蕓術(shù)のプロジェクトのような側(cè)面もある．　
　　花譜がデビューした當時は，キズナアイや輝夜月など3Dモデリングされたアバタを操作して短尺の動畫を投稿するVTuberが主流であり，その際も，アニメーションと聲優(yōu)の文脈をくんだロールプレイ性がユーザーから期待されていた．一方，現(xiàn)在最も盛り上がっているVTuberはストリーマーのように生放送や配信を繰り返すVライバーであり，9割以上の內(nèi)容を本人の経験から演出するドキュメンタリー性の高いコンテンツが受け入れられている．KAMITSUBAKISTUDIOでは，バーチャルビーイングを活用しながらもあくまでアーティストをプロデュースするという立場から，オリジン本人の性格や経験を7割生かして，そこにアバタやクリエイティブの演出を3割反映するようなバランスを意識したプロデュースを行っている．　
　　ChatGPTなどの大規(guī)模言語モデルや畫像生成AIなど，人工知能が発展するなかでさまざまなクリエイティビティや仕事が置き換わっていくと考えられるが，最後まで殘るものは感情を揺さぶるエンタテイメントであると考えている．その感情の共有性が高まるのは，ロールプレイではなく，本人のオリジンらしい固有の経験を共有するドキュメンタリー的手法であり，それをクリエイティブの側(cè)面から支えることがバーチャルビーイングの実踐における重要な考え方である．　
　　ここからは，前述した花譜，花譜を含むバーチャルシンガーのグループである「VirtualWitchPhenomenon（V.W.P.）」，リアルとバーチャルの身體の両方で活動を行うアイドルグループ「VALIS」のそれぞれについて紹介する．

2?1花譜のプロデュース
　　花譜はデビュー當時13歳の中學(xué)生という立場で，ファーストワンマンライブの時點では15歳であった．地方在住だったこと，顔を出して活動するには年齢が低かったことなどを含むさまざまな要因から，本來なら音楽シーンの中には登場しなかったかもしれない才能であった．そこでバーチャルシンガーという形でデビューして今日の活動に至る．メインコンポーザーとして若者世代に訴求力のあるカンザキイオリ＊1を迎え，花譜の代表曲「魔女」に連なる一連の楽曲を発表し，YouTubeで公開されているMVはいずれもミリオン再生を記録している．花譜のファーストワンマンライブ「不可解」では，クラウドファンディングの支援も受けてライブを行ったが，目標金額の8倍となる4,000萬円の支援が集まり，CAMPFIRECROWDFUNDINGAWARD2019を受賞した．　

　　前述のとおり，バーチャルシンガーのプロデュースではクリエイティブとドキュメンタリーのバランスを丁寧に取っていくことが最も重要である．　クリエイティブについて，花譜のアバタのデザインはイラストレーターのPALOW氏を起用し，アニメ文化を踏襲したデザインではあるものの，極端なプロポーションの體型にしたり，肌の露出をしすぎないよう注意している．また，ミュージックビデオ（MV）の撮影は川サキケンジ氏が擔當し，実寫の映像とキャラクターを重ね合わせて表現(xiàn)できる技法で，「花譜がこの街にいるかもしれない」という感覚をもたせる表現(xiàn)を?qū)g現(xiàn)してきた．

　一方，花譜は中學(xué)生から大學(xué)生になるまで，受験などのタイミングでの活動休止や短期留學(xué)など，ドキュメンタリー性の強い「正直な説明」も行ってきた．そのため，ファンが親や姉妹のような目線で花譜の成長を見守ってきた経緯もある．フィクショナルな設(shè)定やクリエイティビティもありつつ，ノンフィクションの要素やライブ配信などが重なることでバーチャルシンガーの魅力を最大限に引き出すことができる．

2?2V.W.P.のプロデュース　
　　また，KAMITSUBAKISTUDIOには花譜以外に四人のバーチャルシンガーがおり，理芽，春猿火，ヰ世界情緒，幸祜ら五人の電脳のバーチャルアーティストグループV.W.P.をプロデュースしている．花譜がデビューして1年後からグループを立ち上げるアイディアがあり，ヰ世界情緒や春猿火がデビューする少し前から構(gòu)想していた．バーチャルシンガーのグループを立ち上げるにあたっては，メンバーの聲質(zhì)や音楽性が重ならないようにバランスをとることを心掛けている．　

　　花譜，V.W.P.ともにドキュメンタリー性とクリエイティブのバランスについては，ほとんどがドキュメンタリーという心づもりでプロデュースを行う．各ライブの演出やIPプロジェクトである「神椿市建設(shè)中」などでは創(chuàng)作の要素が現(xiàn)れるが，大きなライブ演出としてのシナリオは企畫したとしても，細部はオリジンから得たものをインタラクティブに反映する形で制作を進めている．その點で，もちろんリアルのアーティストとは異なるものの，アニメのキャラクターがライブを行うような演出方針ではない．インプロビゼーション（即興演出）やフリージャズ（即興演奏）に近いバランスの制作を進める．なお，具體的なライブの演出方法については後述する．
　　クリエイティブの一面であるアバタについては，キャラクターを制作したうえで演者のオーディションを行うのではなく，オリジンが先にある．本人にどのようなアバタやキャラクター性が似合っていくのかを聲音や気質(zhì)を分析しながら検討し，最終的に判斷を行っている．その際，バーチャルシンガーは本人の活動が続く限りクリエイティブの並走も必要になるため，必然的に長期運用型のプロジェクトになる．イラストレーターについても長く仕事ができる方を念頭に依頼する．また，一人の才能に頼っていくというよりも，チームで負擔が特定の場所に行きすぎないように運営していく必要がある．

2?3VALISのプロデュース　
　　また，現(xiàn)在KAMITSUBAKISTUDIOに所屬しているバーチャルガールズグループのVALISでは，より特徴的なプロデュースを行っている．VALISはバーチャルアイドルとして前述のようなライブや配信の活動を行っているが，同時に，リアルな身體をもつアイドルグループとしてもダンスパフォーマンスや歌唱を行う．アバタとオリジンの身體の姿の両方でパフォーマンスを行っている特別なグループである．
　　VALISのメンバーはもともとオリジン（リアルな身體）のアイドルグループとしても活躍できるビジュアルやダンスの力量をもっていた．VALISの活動に先行してオリジンとして活動をしてきた一方で，花譜やV.W.P.のプロデュースで培ったスタジオの能力を生かし，バーチャルの可能性と組み合わせることで，相乗効果が見込めると考えてプロデュースを行っている．　
　　実際に，後述するライブの演出などでは，オリジンとしてのダンスパフォーマンスとバーチャルなアバタとしてのライブパフォーマンスが連動するような形で登場する．ライブ感や存在感を演出するにあたってのこのような重ね合わせは，新しい可能性である．なお，バーチャルとリアルの行き來という仕組みは，アニメのキャラクターとリアルな聲優(yōu)のライブの関係性にも似たものである．固定のキャラクターを通じてインターネット上で活動するものの，ライブパフォーマンスは本人が行う覆面アーティストなどにも続く流れである．　
また，長期的なパートナーシップを結(jié)び，他のVTuberと差別化する方法として，VTuber業(yè)界でまだ起用されていないイラストレーターに依頼するよう努めている．VALISのキャラクターデザインはねこ助氏に依頼しており，ネコのキャラクターのようなアバタをベースにしつつ，オリジンのライブ衣裝などをデザインと一致させることでリアルとバーチャルの連続性を演出している．

3．音楽ライブにおけるバーチャルアーティストの存在感の演出　
　　バーチャルシンガーなどのバーチャルアーティストの存在感を演出する必要がある場面として，最も重要なものが音楽ライブである．そもそもバーチャルアーティストはアバタを通して活動しているため，バーチャルライブ（インターネットで配信されるライブ）やリアル會場でのライブのいずれでも，リアルな空間に手放しに実在するわけではない．スクリーンへの投影やディスプレイでの描畫などのインタフェースを挾むことで実在感を感じさせにくくなってしまうことは避けられない．
　　そこでバーチャルアーティストを本気で実在させるためには，さまざまな技術(shù)?演出の工夫が必要になる．VOCALOIDやインターネット文化に親しみ深い，若いユーザーほど実在感を感じてくれているが，そのような文化になじんでいない大人まで含めて実在を感じてもらえるように武道館ライブ（花譜3rdONE-MANLIVE『不可解參（狂）』）などの設(shè)計に取り組んできた．　
　　これまでKAMITSUBAKISTUDIOでは，花譜の音楽ライブのシリーズである『不可解』を筆頭にさまざまな音楽ライブを開催してきた．ここでは，不可解シリーズのライブの背景にある技術(shù)や演出の工夫を紹介する．また，前述のVALISのライブについては，リアルとバーチャルの境界を越えるような特筆すべき演出について報告する．

3?1バーチャルライブと存在感の演出
　　バーチャルシンガーの花譜について，2019年8月1日に初めて開催したライブが花譜1stONE-MANLive『不可解』である．東京?恵比壽にあるLIQUIDROOMにて，背景のスクリーンに投影された映像の演出と，前景に投影されて登場した花譜，合わせて生演奏を行うバンドを組み合わせる構(gòu)成で開催した．以前にも半透過スクリーン（紗幕）を活用したバーチャルなキャラクターのライブは開催されてきたが，このライブでは背景映像や生演奏をするバンド，歌詞のタイポグラフィとの整合を丁寧に取って製作した．Twitterでは「#花譜不可解」が世界のトレンド1位にランクインし，この成功が大きな起點となり，2019年10月18日のKAMITSUBAKISTUDIOの立上げにつながった．

　ただし，この後に続く不可解シリーズのライブ演出に比べると，この時點では映像が特別に秀でていたわけでもなく，目新しい技術(shù)を採用していたわけでもなかった．このようなバーチャルライブは，CG映像を制作して投影するような仕組みにも近く，最初の不可解に続く不可解弐Q1と不可解弐Q2のUnrealEngineでの高度な実裝に経験が生かされている．

§1完全なオンライン配信のバーチャルライブ
　　バーチャルライブの演出に関しては，新型コロナウイルス感染癥の狀況下で大きな転換點があった．2020年3月に開催予定だった，不可解の再演である『不可解（再）』の開催が中止され，無観客ライブと全編オンライン配信のみでの開催となった．その後，2020年10月の不可解弐Q1と2021年3月の不可解弐Q2も完全なバーチャルライブとして開催した．　
　　そもそも不可解は，実際にリアル空間にいるバンドの生演奏と合わせた音楽性の高さや生々しさによって，バーチャルシンガーの実在感を感じさせていた．それがオンライン配信のみとなった場合には，UnrealEngineでレンダリングされた映像をベースとすると，ディスプレイ越しの完全な映像作品のように見えてしまう．実在感を感じさせるのは，よりいっそう難しくなる．そこで，バーチャルシンガーの花譜をリアル空間に存在させるのではなく，バンドメンバーをバーチャル空間に存在させるような映像を目指して構(gòu)成した．　
　　そのような構(gòu)成やステージ細部への演出のこだわりを?qū)g現(xiàn)するために，バーチャルライブの制作はバーチャルな音楽ライブ配信を行う汎用性があるプラットフォームではなく，すべてオーダメイドで制作を行った．デザイナーのヤマザキヒロカズ氏とともに，滅んだ異文明の教會の跡地をテーマにしたバーチャルライブハウス「PANDORA」をデザインし，バンドメンバーがバーチャルのライブハウスに登場するようなライブをオンライン配信することで，花譜の存在感を演出することを試みた．　
　　なお，PANDORAにて開催した花譜2ndONE-MANLIVE『不可解弐Q2』はYouTubeLiveにて全編無料配信を行い，同時接続の視聴者が4萬人，國內(nèi)外では累計40萬人以上が視聴し，「#不可解弐Q2」は10萬件を超えるツイートでTwitterトレンド世界1位になった．　
バーチャルライブはユーザーによる視點の移動などが可能なイマーシブライブにも応用可能な枠組みのライブであり，KDDIとKAMITSUBAKISTUDIOで開発中の次世代次世代型3Dライブ視聴體験サービス「αULive」＊2でも研究開発を行っている．

§2リアル會場でのバーチャルライブ
　　Q1とQ2のバーチャルライブを経て，コロナ禍が続く厳しい社會情勢の中，2021年6月に豊洲PITにて花譜2ndONE-MANLIVE『不可解弐REBUILDING』を2日間にわたって開催した．
　　不可解弐REBUILDINGは不可解弐シリーズの完結(jié)編的であり，実在感を提示するためのQ1?Q2の技術(shù)や演出をリアル會場にもち込むことを行った．Q1とQ2はそれぞれQ1：REとQ2：REとしてリアル會場での演出に合わせて再構(gòu)成し，カメラワークを自在に操れるバーチャルライブではない，リアル會場のライブならではの映像として再構(gòu)成している．　
　　不可解弐REBUILDINGはエンドロールを含めると67曲，7時間以上の楽曲が披露されたが，それらすべてに背景映像やタイポグラフィなどの制作，バンドによるライブアレンジが存在しており，総合蕓術(shù)としてのバーチャルシンガーの音楽ライブを體現(xiàn)するものであった．　
　　また，続く2022年4月15日と16日にはV.W.P.による音楽ライブイベント『魔女集會』と『現(xiàn)象』を開催した．前景のスクリーンに花譜ら5名が登場し，背景のディスプレイには映像やタイポグラフィ，MVなどが投影される構(gòu)成であった．バンド用のステージは前景のスクリーン前の1階と背景ディスプレイ手前の2階に分けて設(shè)置され，8名のミュージシャンが生演奏を行った．これらの音楽ライブへの反響を受けて，花譜やV.W.P.のリアル會場でのバーチャルライブの演出に確信をもった．　
　　これらがバーチャルシンガー初となる日本武道館でのワンマンライブ『不可解參（狂）』の成功につながった．日本武道館はアリーナ席と1階席，2階席と配置されている．これに対し，座席の一部をステージに含める形で前景に複數(shù)のディスプレイ，ステージ2階のディスプレイ，背景のスクリーン，ステージ頭上の左右にディスプレイを配置するという構(gòu)成をとった．本來，バーチャルシンガーをきれいに視認できる席の配置を考えると，左右のエリアや2階席からの視聴は相性が悪い．ステージ側(cè)にも高さをつくり，頭上にもディスプレイを配置することなどを通じて幅広い座席からの見え方をカバーした．　
　　特筆すべき點として，ステージ2階ではリアルのアーティストとコラボレーションができるセットを制作し，たなか氏や大森靖子氏らと花譜が掛け合いをしながらパフォーマンスをするシーンも実現(xiàn)した．また，花譜のパフォーマンスの背景にリアルタイムに會場の観客が映るよう合わせられた映像が，ステージ頭上のディスプレイに投影されるなどの技術(shù)的な工夫も行った．會場では7000人を動員し，Twitterでは3萬件を超える投稿があり，Twitterトレンドで日本1位を獲得した．

3?2バーチャルシンガーのライブを支える技術(shù)
　　ここからは，リアル會場でのバーチャルシンガーのライブの未來について技術(shù)的なポイントをあげる．具體的には，リアルタイムレンダリングとバーチャルプロダクションを紹介する．リアルタイムレンダリングは，ゲームエンジンにUnityを採用してリアルタイムの映像の生成と投影を行うもので，後述するVALIS『必然的レゾンデートル』や花譜『不可解參（想）』などで取り入れている．バーチャルプロダクションは，舞臺に対して背景映像やバーチャルシンガーの配置を現(xiàn)場で詳細に行うことなどができる技術(shù)で，『KAMITSUBAKIFES’23』ではdisguise（d3Technologies）を活用した．今後もこういった技術(shù)を取り入れてXRLIVEの研究開発を進めていく予定である．

§1リアルタイムレンダリング
　　レンダリングとは三次元のモデルやデータを映像として投影できるようにする工程であり，リアルタイムレンダリングは高い計算機能力でそれをリアルタイムに行うものである．花譜のライブではライブ制作を擔當するチームによって獨自にカスタマイズされたアバタ表現(xiàn)システムを活用しており，それらにUnityによって作成されたHDレンダパイプライン（HDRP）を取り入れてさらなる精細化も目指している．HDRPはGPUのパフォーマンスを最適化し，精細で高度なグラフィックスをレンダリングすることができる．サブサーフェススキャタリングを含む高度なシェーダー，物理的に正しい光や陰影の表現(xiàn)，シネマティックの効果などが可能になる．　
　　それらの研究開発を進め，多人數(shù)のリアルタイムレンダリングの最高峰として開催したのがVALISの必然的レゾンデートルである．2023年1月29日と2月4日にそれぞれAct.1とAct.2を開催し，Act.1ではバーチャルなアバタ，Act.2ではリアルのオリジンが登場した．「Act.1」と「Act.2」の両方において，基本的な演目構(gòu)成を統(tǒng)一し，Act.1のライブ配信用の収録映像をAct.2の背景映像として流用することで，時間を超えたバーチャルとリアルの融合を目指した．リアルタイムレンダリングで行ったバーチャルライブ「Act.1」を背景に背負って行ったオリジンライブ「Act.2」では，本人達が「Act.1」と寸分の狂いもなくダンスパフォーマンスを披露した．それは，同時に本人達のダンスパフォーマンスの卓越性の高さを証明することにもつながった．　
　　リアルタイムレンダリングを活用したライブで，より演出に力を入れたのが不可解參（想）である．花譜の3rdワンマンライブの不可解參（想）は3月4日に開催され，全編オンラインで配信を行った．これは日本武道館で実施したライブ不可解參（狂）の再構(gòu)築版で，Unityベースのバーチャルライブである．バーチャル空間に設(shè)置されたリアルの武道館そっくりに制作された概念武道館というステージを舞臺とした．概念武道館以降は花譜が巨大なエレベータに乗り込み，高い質(zhì)感を感じさせるさまざまさまざまなステージを移動しながら花譜らがパフォーマンスを行った．リアルタイムレンダリングの技術(shù)により，リアルさや実在感を感じさせる演出を目指した．

§2バーチャルプロダクション　
　　また，スクリーンへの投影については，ステージに合わせてつくり込まれた背景映像をシートに配置していくプロジェクションマッピングを用いている．これまではこの背景映像や配置をあらかじめつくり込んでおく必要があったものが，バーチャルプロダクションの技術(shù)を使って映像編集ソフトで調(diào)整するかのようにその場でレイアウトしていけるようになったことが大きな変化であった．　
　　バーチャルプロダクションとは，背景映像の空間と実際のステージや被寫體をリアルタイムに同時に撮影して合成する映像制作のフローを指す．例としてよくあげられるのは，ディスプレイやスクリーンに背景背景を投影し，手前に演者や被寫體を置いて撮影する方法である．オブジェクトの追加や変更，エフェクトを使った演出なども可能であり，撮影や編集の時間の削減，今回ではライブステージの設(shè)計時間の削減が可能になる．　
　　我々が用いているのはバーチャルプロダクションの技術(shù)の一部であるが，「【組曲】花譜×たなか#95「飛翔するmeme」【オリジナルMV】」などでは，バーチャルの舞臺セットをつくってそれに合わせてカメラワークをするとセットが追いついてくるような形で撮影を行った．　また，2023年3月30?31日に開催したKAMITSUBAKIFES’23でもバーチャルプロダクションを?qū)毪筏浚甂AMITSUBAKISTUDIOに所屬するバーチャルシンガー，シンガーソングライターから音楽的同位體まで多くのアーティストが出演した．ここでは，バーチャルプロダクションに係るサーバーとソフトウェアがセットになっているdisguise（d3Technologies）を用いた．ビューポイントの設(shè)定や演出効果のタイミングまで，映像自體のレイアウトを現(xiàn)地で行うことができ，ステージの最後のクオリティアップに不可欠な技術(shù)であった．
　　具體的には，手前の紗幕に明るいタイポグラフィがあるとアーティストの顔が明るく見えすぎてしまうという問題があったが，このタイポグラフィを現(xiàn)地で背面に変更するような修正を行うことができた．また，手前の紗幕と1階のディスプレイにキャラクターが寫っているとき，これらを一體化するような細部まで一致しなければ難しい演出も調(diào)整することができる．これらの技術(shù)を発展させることで，ミュージックビデオやその他の用途のためにUnityであらかじめ制作した神椿市という舞臺を，セットとしてリアルの會場にもち込んで背景として投影することなども可能になる．今後予定しているXRLIVE（SINKALIVEシリーズ）では，神椿市のモデルとステージの連動を図る予定である．

4．音楽的同位體の開発とプロモーションの戦略　
　　花譜を始めとするV.W.P.などのバーチャルシンガーのプロデュースをするなかで，ユーザーによる創(chuàng)作の可能性を広げるべく生まれたのが「音楽的同位體」である．KAMITSUBAKISTUDIOのバーチャルシンガーの歌聲を?qū)W習(xí)させてCeVIOAI（後述）の人工歌唱ソフトウェアを開発し，それを中心に展開するさまざまな企畫を総合して「音楽的同位體プロジェクト」として進めている．

　　もともと，KAMITSUBAKISTUDIOのバーチャルシンガーシンガーのテーマの一つに，「歌うことが好きなオリジンの少女達の可能性をバーチャルで拡張する」というものがある．その目的へ進んでいくなかで，人間の歌聲を機械學(xué)習(xí)させて人工歌唱ソフトウェアとするCeVIOAIを制作した．このソフトウェアは，少女達を超えて，たくさんのユーザーにとっても，創(chuàng)作の可能性の拡張をすることができるパートナーになり得るものである．後述するユーザー生成コンテンツ（UGC：UserGeneratedContents）の輪を広げていくことにより，バーチャルシンガーとしてのV.W.P.の認知度を広げていくことにもつながる．
　　以下では，音楽的同位體プロジェクトの概要，音聲合成ソフトの內(nèi)容，それらのプロモーションにも係るユーザー生成コンテンツの広がりや戦略などについて述べる．　
ここで音楽的同位體プロジェクトの同位體とは，バーチャルシンガーのグループであるV.W.P.に対応する形でデザインされた合成音聲ソフトユニット
　　花譜の聲をより多くの人に知ってもらうために，プロモーションの観點から立ち上げられたプロジェクトであったが，予想を超えるヒット作が數(shù)多く生まれたことで，ユーザー生成コンテンツを広げる展開につながり，音楽的同位體を中心に據(jù)えたV.I.P.を立ち上げた．

4?1音聲合成ソフト（CeVIOAI）について　
　　音楽的同位體は，前述したようにKAMITSUBAKISTUDIOのバーチャルシンガーを模してデザインされたキャラクター群であり，その中心にオリジンの聲を?qū)W習(xí)させた人工歌唱ソフトウェアのCeVIOAIがある．　
　　CeVIOAIは名古屋工業(yè)大學(xué)で開発された深層學(xué)習(xí)を採用した音聲合成技術(shù)をもとにしており，実在するシンガーの聲を?qū)W習(xí)させたソフトにセリフや楽譜のデータを入力すると，本人らしい性質(zhì)や歌い方で再現(xiàn)することができる．ピッチパターンやタイミングをGUIで指定することができ，多くのボーカロイド音楽ユーザーに受け入れられている．　
　　この學(xué)習(xí)にはシンガーの歌唱データなどを與えるが，シンガーに応じてさまざまな機能の追加も行っている．ヰ世界情緒が落ち著いた低い歌い方からボーカロイドらしい高い歌い方まで，多様な聲質(zhì)を表現(xiàn)した歌い方ができることを生かし，音楽的同位體の星界には複數(shù)の歌い方を調(diào)整できる「感情パラメータ」という機能が搭載されている．また，ラップシンガーである春猿火に対応した羽累は，ボーカロイドなどの音聲合成ソフトとしては初めてクオリティの高いラップを歌わせることができる機能が搭載されている．　
　　いずれもボーカロイド音楽の発展や需要に鑑みて，オリジン本人の歌唱よりも少し機械らしい雰囲気を殘した音聲を提供しているが，技術(shù)的にはより本人らしく開発することも可能である．あえてボーカロイドらしい雰囲気を殘すことで，バーチャルシンガーとその歌唱ソフトのデュエットなどが可能になることを意図している．

4?2ユーザー生成コンテンツの広がりと戦略　
　　ボーカロイド音楽で採用される音聲合成ソフトについては，すでにさまざまな歌手の聲がラインナップされており，長らく新しい歌唱用のソフトを発売できる市場のタイミングはなかった．可不は作曲家のユーザーがこれ音楽的同位體を中心に據(jù)えたV.I.P.を立ち上げた．4?1音聲合成ソフト（CeVIOAI）について　音楽的同位體は，前述したようにKAMITSUBAKISTUDIOのバーチャルシンガーを模してデザインされたキャラクター群であり，その中心にオリジンの聲を?qū)W習(xí)させた人工歌唱ソフトウェアのCeVIOAIがある．　
　　CeVIOAIは名古屋工業(yè)大學(xué)で開発された深層學(xué)習(xí)を採用した音聲合成技術(shù)をもとにしており，実在するシンガーの聲を?qū)W習(xí)させたソフトにセリフや楽譜のデータを入力すると，本人らしい性質(zhì)や歌い方で再現(xiàn)することができる．ピッチパターンやタイミングをGUIで指定することができ，多くのボーカロイド音楽ユーザーに受け入れられている．　
　この學(xué)習(xí)にはシンガーの歌唱データなどを與えるが，シンガーに応じてさまざまな機能の追加も行っている．ヰ世界情緒が落ち著いた低い歌い方からボーカロイドらしい高い歌い方まで，多様な聲質(zhì)を表現(xiàn)した歌い方ができることを生かし，音楽的同位體の星界には複數(shù)の歌い方を調(diào)整できる「感情パラメータ」という機能が搭載されている．また，ラップシンガーである春猿火に対応した羽累は，ボーカロイドなどの音聲合成ソフトとしては初めてクオリティの高いラップを歌わせることができる機能が搭載されている．　
　　いずれもボーカロイド音楽の発展や需要に鑑みて，オリジン本人の歌唱よりも少し機械らしい雰囲気を殘した音聲を提供しているが，技術(shù)的にはより本人らしく開発することも可能である．あえてボーカロイドらしい雰囲気を殘すことで，バーチャルシンガーとその歌唱ソフトのデュエットなどが可能になることを意図している．

4?2ユーザー生成コンテンツの広がりと戦略　
　　ボーカロイド音楽で採用される音聲合成ソフトについては，すでにさまざまな歌手の聲がラインナップされており，長らく新しい歌唱用のソフトを発売できる市場のタイミングはなかった．可不は作曲家のユーザーがこれなど企業(yè)の主體的な取組みも経てキャラクター性がコミュニティに定著し，音聲合成ソフトの本體に加えて初音ミクのグッズが売れるような存在感を確立されている．　
　　KAMITSUBAKISTUDIOにおける音楽的同位體のIPを育てる戦略として，例えば2022年7月からV.I.P.を登場人物とした公式の四コマ漫畫「同位體観察日記」をTwitterで配信している．ニコニコ超會議などリアル會場を伴うイベントなどでも，それぞれの音楽的同位體のキャラクター性を意識してもらえるような展開を試みてUGCを誘引しているが，最近ではキャラクター（IP）としてのグッズも売れつつある．

5．おわりに　
　　ここまで，バーチャルシンガーを?qū)g在化させるための技術(shù)や演出という観點で，エンタテイメントの現(xiàn)場からアイディアや事例を紹介した．　
バーチャルシンガーの実在感をユーザーに感じてもらうためのプロデュースに関して，オリジン本人の性格や経験を7割生かしつつ，アバタやクリエイティブの演出を3割反映するバランスをとること，V.W.P.のようなグループではメンバーの聲質(zhì)のバランスをとり，長く仕事ができるチームで負擔を分散させながら運営すること，アイドルグループVALISのリアルなオリジンとバーチャルなアバタの両方で活躍する演出を行うことなど，さまざまなアイディアや演出を紹介した．　
　　音楽ライブは実在感の演出が期待される場面である．バンドの生演奏とバーチャルシンガーをリアル會場とバーチャル空間の雙方でうまくなじませるための演出や技術(shù)について紹介した．不可解Q1：REとQ2：REから武道館ライブへと，ディスプレイやスクリーンを複雑に組み合わせたステージの構(gòu)成を進化させてきた．武道館のステージ2階におけるリアルのアーティストとバーチャルアーティストのコラボレーション用のセットや，花譜のパフォーマンスの背景にリアルタイムに會場の観客が映る映るよう合わせられた映像の投影など，さまざまな工夫を紹介した．また，リアルタイムレンダリングやバーチャルプロダクションなどは，バーチャルライブの演出をよりリアルかつ精細に行うことを可能にする技術(shù)である．　
　　最後に，KAMITSUBAKISTUDIOのバーチャルシンガーの歌聲を?qū)W習(xí)させた人工歌唱ソフトウェアを中心とする「音楽的同位體プロジェクト」について紹介した．音聲合成ソフトはたくさんのユーザーに使ってもらうことが重要で，UGCを盛り上げるための戦略について述べた．公式のデモソングを數(shù)多く制作すること，コンテストなどを開催すること，音楽的同位體を登場人物とした公式漫畫を発信することなどにより，UGCの輪を広げることができている．　
　　以上のように，デビューから日々の活動のプロデュースで演出しているポイント，音楽ライブにおいて実在感を感じさせるための演出や技術(shù)，音聲合成ソフトの開発とUGCを盛り上げる戦略など，バーチャルシンガーを中心とする重要なトピックを報告した．バーチャルシンガーはバーチャルビーイングの社會実裝の重要な事例である．アカデミアでバーチャルビーイングの研究や開発が行われるうえで，これらのエンタテイメントの現(xiàn)場の実踐的な知見がヒントになれば幸いである．


2023年5月22日　

受理著者紹介

佐久間　洋司（學(xué)生會員）大阪大學(xué)大學(xué)院基礎(chǔ)工學(xué)研究科博士後期課程，（株）深化ボードボードメンバー．2025年日本國際博覧會（大阪?関西萬博）大阪パビリオン推進委員會ディレクターなどを務(wù)める．日本學(xué)術(shù)振興會特別研究員DC1，孫正義育英財団第2期生．日本オープンイノベーション大賞文部科學(xué)大臣賞などを受賞．ムーンショット型研究開発事業(yè)ミレニア?プログラムチームリーダー，大阪府新たな戦略策定に向けた有識者懇話會アドバイザーなどを歴任．東京大學(xué)大學(xué)院総合文化研究科修士課程を修了．修士（學(xué)術(shù)）．日本SF作家クラブ會員．本學(xué)會産業(yè)界連攜委員，學(xué)生編集委員長．

PIEDPIPER（株）THINKR所屬．Web3時代のIP開発を行うストーリープロトタイピングカンパニー「（株）深化」ファウンダー．YouTube発のクリエイティブレーベルKAMITSUBAKISTUDIOの統(tǒng)括プロデューサーであり，深化の創(chuàng)設(shè)者．バーチャルシンガーの花譜，理芽，V.W.P，音楽的同位體シリーズ，神椿市を建設(shè)中．SINSEKAISTUDIOのプロデュースなどを手掛け，新人アーティストの発掘をする傍ら，プロデュースを手がけていない所屬アーティスト達の監(jiān)修なども行う．「音楽から物語へ」つながるさまざまな企畫開発に日々挑戦している．＊12021年12月31日の第72回NHK紅白歌合戦では，カンザキイオリの楽曲『命に嫌われている．』をまふまふが歌唱した．＊2KDDIのR&Dコレクティブ「αUresearch」とクリエイティブレーベル「KAMITSUBAKISTUDIO」のコラボレーションプロジェクト「promptαU（プロンプトアルファユー）」の研究開発項目の一つ.

轉(zhuǎn)載于

一般社団法人　人工知能學(xué)會. 人工知能 Vol.38 No.4(2023年7月號)? 一般社団法人　人工知能學(xué)會. Kindle 版.

粗略排版，刪除了所有圖。

僅供學(xué)習(xí)研究。

不做翻譯，侵刪。