装備なしで指トラ実現！ カメラから動作を正確に認識するソニーの「ToFイメージセンサー」【CEATEC 2024】

距離情報で指や動作を認識する「ToFイメージセンサー」

　ソニー（株）は、デジタルイノベーションの総合展「CEATEC 2024」（千葉・幕張メッセ）において、「ToFイメージセンサー」を活用したXRアプリケーション向けセンシング技術を展示している。

　今回のソニーブースは「Hello, Sensing World!」をテーマに展示を実施。“人や空間を認識する技術がエンタテインメントの世界にも活きている”として、物体との距離を3次元方向で測ることができるイメージセンサーである「ToFイメージセンサー」を活用し、人の指や関節、上半身、全身などの繊細な動きを正確にトラッキング、バーチャル空間上のアバターにリアルタイムで再現するアプリを体験できる。

　同社より発売された小型・軽量トラッカー「mocopi」は、加速度センサー・ジャイロセンサーより取得したデータから全身の関節の位置・姿勢を推定していたが、今回の技術では、端末のカメラ（ToFイメージセンサー）より取得した被写体までの距離情報（深度情報）から表情や指、関節の動きまでを正確に認識する。

　からだに装着する機材なしで、なめらかなハンドトラッキング（さらには手・指の形の再現）までも実現しているのが特徴だ。

高額なトラッカーを装着しなくても手ハートのポーズなどを認識してくれる

　本技術により、直感的なジェスチャーコントロールによる新しいUI、自然な顔の表情やハンドサイン、空中描画など、よりリアルでエンタテインメント性の高い表現が可能になるという。

　すでにスマートフォン向けの無償アプリ「ToF AR Lab」では、ToFカメラなどで取得した被写体の深度情報を利用したVTuber体験が可能となっている。今後の体験向上に注目したい。