多数のヒット作を生み出しているゲームエンジン「Unreal Engine 4」 （以下、 UE4）。ゲームだけでなく映像作品や建築分野でも用いられているように、実用の幅広さも魅力だ。しかしながらその技術を応用することで 、バーチャルYouTuber（以下、VTuber） 配信も可能となることはあまり知られていないのではないか。先月10月14日にパシフィコ横浜にて Epic Games Japanが主催する、UE4 の大型勉強会Unreal Fest East 2018が行われた。その中でもとりわけ異彩を放っていた講演が、「かわいい女の子になりたいんや！ UE4の最新機能を使ってVTuberしてみた！」だ（公式スライド資料はこちら。UE4でVTuber配信するためのサンプルはこちらのGitHubを参照）。今をときめく VTuber を支える技術とはどんなものなのか、本稿では VTuber の舞台裏の物語を追っていく。講演者は、VTuber の水瀬ツバキと、彼女の活動を“いろんな意味で”手助けするEpic Games Japanの岡田和也氏。氏の……、いや“彼女たち”はどのように活動しているのだろうか。
巨大なスクリーンに、講演の“主役”であるVTuberの水瀬ツバキが映し出された。発表者（岡田氏）が手を振ると、スクリーンに表示されている水瀬ツバキも滑らかな動作で手を振る。どうやら岡田氏が装着したモーションキャプチャー用デバイスにより、岡田氏と同様の動きをスクリーン上の水瀬ツバキに再現させているようだ。岡田氏が笑うと水瀬ツバキも笑い、岡田氏が喋れば水瀬ツバキも喋り始めた。ウィンクや微笑など、細かい所作までがスクリーン上に再現されていた。その動きにタイムラグやカクツキは一切感じられない。まるでスクリーンの向こうに本当に少女が生きているかと錯覚させるような、リアルな動きだった。いつしか筆者は彼女たちの発表に聞き入っていた。
VTuber配信とUE4の親和性について、岡田氏は語った。UE4は3Dゲームを作るのに最適なプラットフォームであり、3Dキャラクターを自然に動かすことに関しては専売特許だと言う。特にLiveActionと呼ばれる技術を通じて、モーションキャプチャーから得たデータを連続して途切れることのない自然な動きとして再生することが可能となるようだ。国内でのUE4を用いたVTuber配信の成功事例として、岡田氏は「REALITY」を挙げた。提供開始から２週間で10万ダウンロードを突破した破竹の勢いを持つVTuber専門配信プラットフォーム、それが「REALITY」だ。
「REALITY」によれば、UE4のブループリント(以下、BP)機能を使うことによりプログラム知識のない非エンジニアでもコンテンツの量産が可能であること、日本語対応しているエディタやオープンソースコードなどが存在していることが大きなメリットだと言う。UE4を用いたVTuber配信の事例は国内に止まることなく、海外でも顕著なようだ。UE4を用いたデジタルヒューマン「BEBYLON: BATTLE ROYALE」は、「Real Time Live!(リアルタイムCGによるイベント)」最優秀作品に選ばれている。
続いて、個人でVTuberになるために、必要となるデバイスについて岡田氏は説明してくれた。Oculus Rift、HTC Viveと呼ばれるヘッドマウントディスプレイだ。これらを装着することにより頭と両手の位置座標を取得することが可能となるようだ。だが、それらの限定的な座標だけで、人体の繊細な動きを再現できるのだろうか？その疑問について岡田氏はIK(Inverse Kinematics)と呼ばれる技術で補っていると回答した。IKとは逆運動学であり、対象ジョイントの最終的な位置・向き先を定義し、それを満たすために各ボーンを制御しているとのことだ。IKは計算が狂えば非常に違和感のある動きとなってしまう。そのため、適切なIKノードを選択することが重要だという 。UE4には標準でIK機能が搭載されており、FABRIKノード(Forward And Backward Reaching Inverse Kinematics)、Two Bone IKノードなどを岡田氏は採用しているとのことだ。
人体の動きに関しては、突き詰めれば更なる応用も可能になるという。例えば細かい指先の動きまで表現したい場合に行うフィンガーキャプチャーについて、岡田氏は説明してくれた。慣性センサーにより指の動きをトラッキングしてくれるHi5 VR Gloveは各指関節の向きを、赤外線センサーにより手の指の動きを自動でトラッキングしてくれる Leap Motionは指関節の座標・向きを取得できる。いずれもUE4に対応済みで、BPを用いれば従来と同様の方法で繋ぎ込みができるとのことだ。
フィンガーキャプチャーを導入した水瀬ツバキの姿がスクリーンに映し出されると、再び会場から歓声が上がった。そこには可愛らしいハートマークを指で作ったり、ピースサインなどの複雑な仕草を実現する水瀬ツバキの姿があった。女の子らしさが格段と上がっていることは一目瞭然だ。岡田氏はフィンガートラッキング系のデバイスを用いることで、キャラクターの表現の幅がグッと上がったことを語ってくれた。より人体の動きを細かく再現するためには足、肘、腰などのモーションキャプチャーも必要となってくるとのこと。可愛さを極める探求にゴールはないのだと、その奥深さを感じさせてくれる。
人体の動きの再現方法について非常に理解が深まる説明だった。しかし、水瀬ツバキの表情についてはどのような技術で再現されているのだろうか？人間の繊細な表情を再現するのは決して容易なことではなさそうだ。その疑問に答えるように、岡田氏は水瀬ツバキを構成するメッシュと、モーフターゲットと呼ばれるパラメーター図を公開した。その図には怒り、喜び、不満、悲しみ、右目の開き、唇の開き……15以上の項目に、それぞれ細かく数値が設定されている。それらのパラメーターの総合値で水瀬ツバキの繊細な表情が作られるのだと言う。試しに岡田氏がいくつかのパラメーターを操作してみたところ、それに合わせて水瀬ツバキの表情が繊細な変化を見せた。
配信中の水瀬ツバキの表情は、コントローラーからの入力も受け付けていると岡田氏は語る。試しに岡田氏はコントローラーを操作し、水瀬ツバキにウィンクや笑み、不満の表情などを作らせて見せた。基本的に水瀬ツバキの動きはモーションキャプチャーによる自動入力がメインだが、時にはこのようなコントローラーによる手動入力も重要だと岡田氏は語る。あまり人間の動きをリアルに再現しすぎると、逆にVTuberらしくない不自然なキャラクターが出来上がってしまうとのことだ。これは「不気味な谷」と呼ばれるロボット工学における有名な現象で、例えば極端な細目をVTuberに再現させると若干の不自然さが出てしまう。そのため一定値を超えたら目を完全に閉じるような補正を加えるという工夫を岡田氏は行ったようだ。「むしろ少し大袈裟な感情表現になるくらいがVTuberとして可愛い」と、岡田氏はこだわりを語ってくれた。
リアルを追求する部分と、バーチャルならではの表現方法にこだわる部分。そのバランスを見極めることこそがVTuber配信では大事なのだろう。ここぞと言うタイミングで水瀬ツバキに満面の笑みを作らせるそのコントローラー捌きに、筆者は職人芸を見た。
これまで水瀬ツバキに動きを与えてくれる要素として、モーションキャプチャーとコントローラーによる入力について岡田氏は語ってくれた。しかし、彼女の動きを支える技術はまだまだあるようだ。
続いて岡田氏が説明してくれたのは、音声による入力だ。水瀬ツバキのリップシンク（口パク）が如何に自然なものであるか、彼女に日常会話を実演させて見せた。唇の動きに着目すると、一言一句をハッキリと、本当に喋っているかのように動いていることが分かる。音声に合わせて口を開閉させるだけでは、古い時代の吹き替え映画のようにどうしても不自然なものになってしまう。そこで岡田氏はOVRLipSyncと呼ばれるコンポーネントを導入したとのことだ。OVRLipSyncとはマイク音声を解析し口の形を再現してくれるコンポーネントであり、岡田氏が喋ると水瀬ツバキは非常に自然な口の動きでそれを再現して見せた。ネックとなるのは音声を受け取ってから解析が終了するまでのタイムラグ。それを解決する工夫として、岡田氏はVTuber配信する際はマイクの同期オフセットを100にして、その遅延を感じさせないようにしているという。
リップシンクの技術は日進月歩であり、現在では多くの言語に対応したライブラリも用意されているとのことだ。今後もより高速度、高性能な解析が可能なライブラリが生まれてくるだろう。このように世界中にある豊富なライブラリを、UE4を使えばBPにより非常に簡単に導入できると岡田氏は説明してくれた。ここまでの発表で使われた技術は、UE4の標準機能とBPだけで実現可能だと言うのだから驚きだ。
「かわいいは作れるんです」
岡田氏はその信念の元に、水瀬ツバキをより可愛くするための工夫について熱く語ってくれた。美少女を作り出す上で、まず男女の動きの違いについて学んだと言う。例えば肘の動き。一般的に肘の位置を男性は外側に、女性は内側にする傾向があるとのことだ。そのため、男性の動きをモーションキャプチャーで女性VTuberとして再現する場合、いくつか補正を加えるよう前述したTwo Bone IKに調整を加える必要があるようだ。
他にも体にわずかなヒネリを加えたり、ガニ股の歩き方を内股の歩き方に変換するなどして「おっさんムーブを美少女ムーブに変換する機能」を岡田氏は実演して見せた。こうして細かい調整を経て、完成された水瀬ツバキの洗練された動作に会場からは拍手が起こった。
VTuberのプログラム環境だけでなく、VTuber配信の環境も整いやすくなったようだ。大半のVTuber配信者が使用している配信ソフト「OBS」は無料で公開されている。ゲーム画面などを背景に、VTuberの画像を取り込んで配信する「クロマキー合成機能」など必要機能は全て揃っているとのことだ。Scene Capture Component 2D の Show Only Actor を使うことでキャラクターだけを配置したり、三人称視点カメラから必要オブジェクトを用意したりと痒いところに手が届く操作も簡単にできると言う。
「可愛いを極めることは沼です」と岡田氏は言った。ダンスなどの激しい運動モーションや、より繊細な表情の実現。まだまだ発展の余地はあるし、やるべきことが尽きないと嬉しい悲鳴を語ってくれた。水瀬ツバキのYouTubeチャンネル継続の要望に対し、岡田氏は「頑張りたいです」と前向きな返事。今後も可愛さを高めていく水瀬ツバキの躍進に期待がかかる。余談だが、水瀬ツバキのモデルとなっているアセットも、株式会社Indie-us Gamesより今後マーケットプレイスでの販売が予定されているとのことだ。
VTuber界隈の進化は非常に激しい。最近では株式会社グリーが株主総会をVTuberの発表で行ったという事例も報告 されている。VTuberは社会的にも受け入れられ、迅速なスピードで浸透しつつあることを伺わせる事例だ。今回の講演を聞き、今まで遠かったVTuberと言う存在が非常に身近なものに筆者には感じられた。誰もが気軽に VTuber 配信をできる未来も、そう遠くはないかもしれない。
