私は数年前『にじさんじ』のとあるVTuberを知ってから、転がるようにドハマリし、今では『にじさんじ』箱推しとなりました。
そして気になっているのが、VTuberライブの舞台裏です。
あの魅力的なパフォーマンスは、実際にはどのように作られているのか？本人（中の人）はどこにいて、どうやって投影されているのか、調べてみました。
演者はどこにいるの？ 別室でのリアルタイムパフォーマンス
VTuberのライブパフォーマンス中、演者（中の人）は実はステージから見えないところ、ステージのすぐ近くの別室でパフォーマンスを行っているようです。
なぜ近くの別室なのでしょうか？
それは映像の遅延（ラグ）を最小限に抑えるためです。もし離れた場所にいると、動きと映像の間にずれが生じてしまい、自然なパフォーマンスができなくなってしまうとのこと。
演者は別室で実際に歌い、踊っている。同時に、モニターを通して会場の様子や自分の姿を確認しながらパフォーマンスを続けているから、リアルタイムで会場の様子に反応したり、コメントを拾ったり出来るようです。
モーションキャプチャ：動きを捉える技術
演者たちは動きをリアルタイムでキャプチャするために、特殊なモーションキャプチャスーツを着用。
その部屋で実際に歌って踊っており、その動きがリアルタイムでキャプチャされているそうです。
映像の投影方法
VTuberが会場のステージに「登場」する仕組みは、複数の技術を組み合わせたもの。モーションキャプチャで捉えた動きは、3Dモデルに反映され、ステージのスクリーンへ2D変換されたり、透明スクリーンへ立体感ある演出で投影しているそうです。
ライブ会場と配信での違い
重要なポイントとして、現地観覧と配信視聴では見え方が異なるようです。
現地観覧（オフラインライブ）
- 基本的に2D（平面）に変換された映像を、モニターやスクリーンで見ることになる
- 後方の席の方でも見えるよう、キャラクターは大きく映し出されている
配信視聴（オンラインライブ）
- 配信では、モーションキャプチャの3D映像とステージ映像をリアルタイムで合成
- そのため、配信視聴者は3D（立体）でパフォーマンスを楽しむことができ、より自然な演出に見える
口パク疑惑
VTuberライブではよく「口パク疑惑」が起こるそうです。結論から言えば、大規模なライブでは基本的に生歌でパフォーマンスしているとのこと。
口パクに見える主な理由は、歌いながら踊るため息が切れやすいことや、VTuberなので、音声と映像の間に若干のラグが生じることがあるためだそう。
生歌であることの証拠として、息切れや歌詞間違いがあげられます。
最新技術とVTuberライブの進化
VTuberライブは常に進化を続けているようです。
にじさんじのANYCOLORは、VTuber専用のリアルタイムMRライブシステムをstuと共同開発中だとか。
低遅延のデータ伝送技術により、複数のデバイスへの映像送信が改善されています。
将来的には、モーションキャプチャ用の特殊スーツが不要になる技術も開発されるとか。
まとめ
VTuberライブは、単なる技術的なものではなく、多くのスタッフの創造力と努力によって支えられています。演者が別室で情熱的にパフォーマンスする姿、それを最新技術で観客に届ける舞台裏のチームワーク、これらすべてが一体となって私たちに感動的な体験を提供してくれています。
VTuberのライブを観る機会があれば、その裏側でどれだけの技術と人の力が結集しているかを想像してみると、きっとより一層ライブを楽しむことができますね。
私は現地へVTuberのライブを観に行ったことがありません。だから、てっきり、現地でも配信のようにVTuberの後ろ姿が見えるような立体的な映像が見えているもんだと思っていました。
あと、たまに実在の人とVTuberの人が共演している配信も見たりしますが、あれの裏側も見てみたいです。やっぱり、VTuberの人はモーションキャプチャスーツを着てて、一緒に会話しているんですよね･･･？
ともあれ、数年前にVTuberの世界を知ってから、家の中でこんなに楽しめるコンテンツを提供してくれる『にじさんじ』の方がには感謝しきりです！
これからも箱推しとして応援していきます。
