笑った顔も怒った顔も、バーチャルで伝わる時代がくる。
2024年1月26日（金）、HTC NIPPON株式会社は、同社が販売す「VIVEフェイシャルトラッカー（XRシリーズ）」を、メタバースに興味があるみんなが集うリアルイベント「メタのみ」に出展。
・VIVEフェイシャルトラッカー（XRシリーズ）
https://business.vive.com/jp/product/vive-full-face-tracker/
同製品は、XRデバイス『VIVE XR Elite』に、顔と口の追跡を実現するプラグアンドプレイモジュール。つまり、表情トラッキングを追加するオプションユニットです。価格は3万1000円（税込）で、1月10日より販売をスタート。
そんな最新機材に触れるチャンスということで、会場で実機を試してみました！
頬も、舌も、トラッキングする。
会場では、「VIVEフェイシャルトラッカー（XRシリーズ）」が取り付けられた「VIVE XR Elite」を自身で装着。カラーパススルー機能を利用して、モニターに映るアバターを見ながら表情トラッキングを確認することができました。
「VIVEフェイシャルトラッカー（XRシリーズ）」の装着方法は、本体にUSB-Cとマグネットで接続するだけ。初めてでも直感でわかるくらい簡単で驚きです。
さらに、本製品にはユーザーの瞳孔間距離（IPD）を検出し、ヘッドセットを自動的に調整する“自動アジャスト機能”なるものも搭載。装着時にこちらも体験しました。
操作は視界に表示されるガイドを元に、画面に表示される点のようなものを目で追従したりするだけ。これだけで、使用者が快適に使用できるIPDに設定してくれます。ちなみに、筆者は左右の視力が大きく異なる、いわゆる不同視。それでも自動設定はばっちり機能し、使用中に違和感を感じることはありませんでした。「メタのみ」のイベント会場のような複数人でヘッドセットを使いまわす現場では、手渡された時にスムーズな設定ができるのは嬉しいです。
設定を終えたら、いよいよ本番！ 表情トラッキングにチャレンジ。
今回は専用アプリケーションでアバターの表情を確認することができました。
専用アプリケーションでは、リアル造形なアバターで表情を操作。その精度は良好で、喋りや笑顔といった自然な動きはもちろん、ウインクや「ぷくーっ」と頬を膨らませたり、顔の片側だけ動かしまくったりしても、しっかりと動くので驚きます。舌だけを出せば、舌をべろーっとできたりもします。「頑張っても再現できなさそう」な表情に自分の顔をゆがめても、しっかりトラッキング。
ごまかしの効かないくらいに“そのままの表情”を表現するので、「これをメタバース空間で実際に使ったら恥ずかしいかも（笑）」と思ってしまうくらいです。アバターの動きは唇、歯、舌、頬、鼻、あご全体にわたる最大38のブレンドシェイプで制御し、60Hzのトラッキングレートで捉えているそうです。“顔に38のブレンドシェイプ”と聞くと、もちろん多くはあるものの、より膨大なブレンドシェイプが使われていそうな見た目のため「そのくらいでここまでできるのか」と逆に思ってしまいます。（「VRChat」用のアバターだと、それくらい表情に仕込まれているのあるよなー。とも思う）
本製品は「VRChat」や、VRMモデルを使用した「VirtualMotionCapture」でも既に利用が可能。表情トラッキングのために専用のセッティングも不要で、機器をすべて装着した状態でVIVEストリーミング（専用アプリ）を利用し、通常通りPCへ接続するだけとのこと。すべてにおいてシンプルで簡単……！
“アバターで話す”というあたりまえの日常に、文字通り“表情”を加えて表現方法を圧倒的に増やせる「VIVEフェイシャルトラッカー（XRシリーズ）」。みんなが表情のためにハンドサインを変える日から卒業する日は近いのかもしれません。
（TEXT by 翡翠ミヅキ）