単にモニターに映さない、新たなVTuberライブ技術を「にじさんじ」で実証実験

「にじさんじ」のANYCOLORは、株式会社stuと共同でVTuber専用のリアルタイムMRライブシステムの開発を発表した。この新技術はすでに今年1月に開催された「ANYCOLOR/にじさんじ新技術実証実験イベント ver.2025.01」において初めて実証された。

この実証実験では、にじさんじ所属タレントの「加賀美ハヤト」と司会進行役の「百花繚乱」が出演。Meta Quest3とXperiaデバイスを通じて、トークセッションと音楽ライブとの二つの形式で新システムのデモンストレーションが行われた。

従来のVTuberライブでは、キャラクターはLEDモニターに映し出された映像として観客に提示されてきた。しかし今回開発されたシステムでは、ヘッドマウントディスプレイやスマートフォンを介しすことで、観客が自身の視点からリアルタイムでVTuberを鑑賞できる体験を実現している。

新システムの核となる技術は、VTuberライブ専用の独自データ伝送システムとMR合成システムの二つ。低遅延のデータ伝送技術により、VTuber、司会者、観客間のリアルタイムコミュニケーションが可能となった。また、音声はイヤホンではなく、通常のライブと同様に会場のスピーカーから出力する設計とすることで、より臨場感のあるライブ体験を実現したという。

技術面では、両社共同開発した「VTuber専用データ圧縮技術」を基盤とした伝送システムを導入し、映像の遅延や同期ズレを最小限に抑制するという。また、ステージ美術とキャラクターの前後関係を正確に表現しながらリアルタイムの照明演出を反映させる新たな合成手法も開発された。

さらに、大量のデータを安定して伝送するため、会場のネットワークインフラを再設計。リアルタイムMRライブに最適化されたネットワーク機材を導入し、データの流れを最適化することでオペレーターの負担軽減と安定したデータ配信を実現する。

両社は今後、この技術をライブイベントだけでなく、ゲーム、展示会、テーマパーク、ショッピングモールなど多様なエンターテイメント分野への応用を目指すとの意向を示した。

技術開発: stu
開発・モーションキャプチャースタジオ協力: GUNCY’S
照明・映像演出協力: huez / Shibucreation.inc