Disney Research、人の顔へリアルタイムプロジェクションマッピングをおこなう技術『メイクアップランプ』を発表

Disney Researchは、チャルマース工科大学、大阪大学と共同で、人間の顔へ映像をリアルタイムプロジェクションマッピングを行なうことで、投射された人の顔が化粧をしているかのように見せるプロジェクションマッピング技術を開発。
物理的な追跡用マーカーを必要とせず、顔の向きや位置、表情に合わせて映像を高速に変化させることができる技術だという。

（画像出典：Disney Research）

メイクアップランプ

既存の方法では追跡用のマーカーなどを必要としていたが、この技術では必要とせず、赤外線ライトを使用して、光学的に、コンピューティングにより位置合わせされた高速度カメラが、顔の向きや表情を検出し、適応カルマンフィルタリング処理（誤差のある観測値を用いて、ある動的システムの状態を推定する）により、顔の動きや変形を予測。最後にあらかじめ用意していた画像（ヒゲなどマスク）を予測に合わせて合成する。

プロトタイプを試用したところ、平均9.8ミリ秒の遅れと、従来の方法よりも非常に低レイテンシーで、ほぼリアルタイムに映像を追従させられたという。
また、パフォーマーが変わっても十分に表情を追跡、リアルタイムなマッピングができたという。
このシステムにより、従来より高速に、表情に合わせた動的なフェイスプロジェクションマッピングを可能とするといい、ショーなどでの活用が期待される。

詳細は、Disney Researchによる論文発表ページ（英文）をご覧ください。