新スタジオだからできたモーションキャプチャ技術ーーHoshimatic Projectの裏側

2023年12月27日 19:00

はじめに

こんにちは！
カバー株式会社配信技術部モーションキャプチャチームのMです。

カバー株式会社では、プロダクションに所属しているタレントがスタジオでの3D配信を行う際の技術オペレーションを自社スタッフで行っています。
わたしはその中でも、モーションキャプチャチームに所属し、3D配信のサポートをしています。

VTuberの配信では、モーションキャプチャの精度や技術力がそのまま出来ることの多さに繋がってきます。ただ、新しい表現を実現するためには様々なモーションキャプチャ特有の乗り越えなければならない障害が立ちはだかります。
今回は、12/31に配信される【Hoshimatic Project】の実現に向けた、モーションキャプチャの工夫や裏側についてお話していきます。

普段は皆様の目には見えない部分のお話ですが、所属タレントの配信を支える取り組みの一部として、ご紹介させていただければと思います。

Hoshimatic Projectとは

星街すいせいプロデュースのダンスプロジェクト企画です。
新スタジオの設立で大人数での収録が可能になったことから、ホロライブメンバー10名が高難易度のフォーメーションダンスに挑戦しています。
また、ダンスレッスンの様子を生配信するなど、ホロライブでは今まで見せられなかったメンバーたちの姿もお伝えしてきました。

メンバー達が練習してきたダンスは、12/31 23時頃からホロライブ公式chで配信される「hololive production COUNTDOWN LIVE 2023▷2024 -hololive side-」内で配信予定。
星街すいせいを中心に集まったメンバー達の集大成を是非ご視聴ください。

新スタジオだから成せたこと

まず、モーションキャプチャでの新しい技術への挑戦には、今年5月のnoteでも紹介しましたカバー株式会社の新スタジオの存在がとても重要です。

モーションキャプチャには様々な種類がありますが、カバー株式会社で採用している光学式のトラッキングシステムにおいては、モーションのキャプチャを行うのに赤外線を照射するカメラの設置が必要になります。

このカメラの設置台数を増やすことで、トラッキングできるエリアを広げたり、同時にキャプチャを行う人数を増やしたりすることが可能になります。
その代わりにかなり広いスペースが求められ、今までのスタジオでは実現が難しいことがいくつもありました。

今回のHoshimatic Projectでは、新スタジオの中でも最大規模である、Aスタジオを使用することで解決を図りました。
Aスタジオは有効キャプチャ範囲換算で18m×9m(ヨコ×タテ)のキャプチャが可能な、国内でも有数規模の大型モーションキャプチャスタジオです。

AスタジオにはVICON社の最新鋭カメラであるVALKYRIE(VK-26)を100台以上設置しており、この高性能なカメラによって様々な事が実現可能になりました。
今回実施する、大人数フォーメーションダンスもその1つです。

参考：国内最大級!?カバー新スタジオに初潜入&オンライン採用説明会も開催決定
https://note.cover-corp.com/n/nefc047ddc6ee

フォーメーションダンスにおいての技術課題

11/13【3D】新レッスン着！ガチ練習配信！【#HoshimaticProject】

12/18【3D】10名全員で練習！2回目のレッスン配信！【#HoshimaticProject】

上記のダンス練習配信では、今回のプロジェクトに参加しているタレントたちが息を合わせてフォーメーションをぴったり揃えたりしなければならない、高難度なダンスに挑戦している姿をご覧いただけたかと思います。

その裏で、技術面でも超えなければならない課題がいくつかありました。

課題その１　大人数でのキャプチャ

カバー株式会社で導入している「VICON」をはじめとした光学式モーションキャプチャシステムでは、トラッキングを行う際に「マーカー」と呼ばれる反射材を貼り付けた球体をいくつも体に装着し、その動きからソフトウェアで体の動きを推定する処理を行っています。

人数が増えるに連れて一度に行う推定の計算量も増加していきます。
キャプチャする人数が増えるにつれ、演算処理にかかる時間や処理過程でのノイズが発生する確率も同時に増えてしまうのです。
そこで、今回のプロジェクトでは大人数の演算処理に耐えられるよう、メインで演算処理を行うPCに加え、更に2台の並列処理用PCを連携し、合計3台で処理を行う構成を構築しました。

課題その2　指のキャプチャ

通常、カバー株式会社で行われる配信では、指の動きをキャプチャするために5本の指先にマーカーを配置する通称「5fingers」という方式を使用しています。

ですが、すべての指先に小さいマーカーを装着することで、マーカー同士の距離が近くなり誤認識を招く原因となってしまいます。

そこで、12/18に配信されたHoshimatic Projectダンス練習配信などでは
「親指、人差し指、小指」のみにマーカーを装着する「3fingers」を採用することで、マーカーを装着していない中指と薬指をそれぞれ隣り合った指と連動して動く形にして、少ないマーカーでも表現を損なわないような工夫を施しています。

ただし、隣り合って指が動くということは、細かな指先の表現は不可能になってしまいます。わかりやすいところでは、人差し指だけ立てて指をさす、といった動作ができません。
ダンスの振付にはこういった細かい表現も求められますので、今回のプロジェクトの本番撮影時にはさらにマーカーを増やした「10fingers」での収録に挑戦しています。
こちらは両手20点のマーカーを装着してのモーションキャプチャとなっており、マーカー数が増え負荷が増加する代わりに第一関節や第二関節までキャプチャする事が可能です。

今回のカウントダウンライブ全体が事前収録でのお届けということもあり、負荷の高い収録方法にも挑戦することが出来ました。

フォーメーションだけでなく、指先まで洗練された動きで表現したダンスをしているタレントの所作に注目してみてください！

モーションキャプチャの周辺環境構築について

私達モーションキャプチャチームの業務は、モーションキャプチャ機材の運用だけではありません。
小道具などもモーションキャプチャしなければ配信に載せてお届けすることはできませんので、スタジオ内で使用する細かな設備も、私達のチームで管理しています。

今回のプロジェクトで、ダンス練習をお届けするにあたって、ダンスをするタレント本人に負担をかけず、かつ自然なモーションキャプチャを実現するために行った工夫をいくつかご紹介させていただければと思います。

①使い慣れているシューズでのモーションキャプチャ

スタジオでの3D配信時には通常、スタジオで保管している専用のシューズに履き替えてもらい、足元のトラッキングを行っています。

しかし、ダンスをするに当たってはこの専用シューズは足元が滑りづらく、ターンなどの動きがしにくいという問題がありました。そこで、普段タレントが使用している練習用シューズをモーションキャプチャ用に加工して使用することになりました。
一般的にキャプチャ用に加工する場合は、長期間の使用に耐えるため、シューズ全体にマーカーを装着するための専用素材を縫いつける手法を用います。ただ、前述の手法ではシューズとしての再利用が難しくなってしまうため、今回のプロジェクトでは、シューズ全体を専用カバーで覆いかぶせる方式を採用しました。