顔の動きでゲームを操作できる？ NPU活用ソフト「Cephable」

NPUを使用するソフトを1つ紹介

　「Copilot+ PC」が発売されてから2カ月余りが経った。なかなか進展が見られなかったSnapdragon XシリーズのNPUの利用について、ついに「DirectML」が対応した。まだ一般ユーザー層が気軽に利用できる状態ではないが、NPUを利用できるシーンは着実に増えていくはずだ。

　今回はそれとは別に、個別対応によってNPUを使用しているソフト「Cephable」を紹介する。カメラやマイクの入力によってデバイスを操作する仲介役のようなソフトで、使ってみるとちょっと未来感があって面白い。

マイクとカメラの入力でデバイスを操作する

　ソフトは公式サイトから無料でダウンロードできる。Windows向けには、x64/x86版とARM版の2つが用意されている。今回は「Copilot+ PC」の1つである「Surface Laptop 13.8インチ（第7世代）」を利用するので、ARM版を使用する。

公式サイトからARM版をダウンロード

　インストールが終わり、ソフトを起動すると、言語選択になる。日本語は用意されていないので、英語（US）を使用した。続いてユーザー登録を求められる。利用は無料だが、登録は必須だ。

　その次からは実際の利用方法の説明が始まる。長々とした説明が英語で出てくるが、基本的な機能はそう難しくない。PCで利用する場合、マイクによる音声入力と、カメラによる動きの認識の2つを利用する。

マイクの音声入力と、カメラによる動きの認識を使用する

　音声入力では、発した言葉がそのまま入力になる。「Hello」と言ったらマウスのクリック入力を行う、といった設定が可能だ。

　使用中は音声入力がテキスト化されるウインドウがあり、音声がどう認識されたかわかる。英語のネイティブではない筆者は、設定した単語を発話したつもりが、似たような発音の別の言葉として認識されることが多くて大変だった。

発音がテキスト化されて表示される。あらかじめ設定したキーワードと同じ言葉が入力されると、背景が入った白抜き文字になる

　カメラは2つの機能がある。頭の上下と左右の動きと、口の動きを認識できる。入力の処理としては音声と同様で、頭を下に向ける（うなずく）とマウスをクリックする、といった挙動が可能だ。

　カメラの使用中は、カメラの映像を写したウインドウが表示される。映像内に人の顔が入ると、顔の形に合わせたワイヤーフレームのようなものが表示され、顔の向きや口の動きをトレースするように動く。

自分の顔の前にワイヤーフレームのような顔が表示される。ここからカメラ映像が外れると、動いたと認識される模様（画像は頭を右に傾けた直後のもの）

左右だけでなく、上を向く動きも認識している

　NPUは、カメラの処理で使われている。カメラ動作時にタスクマネージャーで確認すると、NPUが70～100％使用される状態だった。

カメラの使用中はNPUをフルに使う時もある

FPSの操作をカメラの映像で行う

　本ソフトを利用する場合、音声や顔の動きに応じた設定を1から作っても構わないが、プロファイルと呼ばれるプリセット設定も用意されている。頭の動きでプレゼンテーションのスライドを動かせるものが代表的なもののようだが、ゲーム系のプロファイルも複数ある。

プレゼン用やゲーム用など複数のプロファイルが用意されている

　その中から「FPS Game」のプロファイルを使ってみよう。これはゲームのFPSジャンルでの利用を想定したもので、音声入力で「Fire」と言うと単発、「Shoot」と言うと持続的に発砲する。

　カメラ操作では、口を開くと精密射撃モードで発砲、口を閉じると発砲を止めて通常射撃モードに戻る。操作としては、マウスの左右ボタンを押したままにする。

「Shoot」と言うか、口を開くと射撃開始。この画面で動作設定の変更もできる

　この設定で実際に試してみるため、FPS練習ソフト「Aimlabs」を実行した（Steamで無料ダウンロードが可能）。ターゲットに照準を合わせるのはマウス操作として、発砲は口を開いて行ってみた。

　照準が合った状態で口を開くと、銃を構えて発砲した。「FPS Game」プロファイルの初期設定のままだったが、想定どおりの動作をしてくれている。

「Aimlabs」で口を開いて射撃した瞬間

　なお、口を開けてから射撃判定が出るまでにコンマ数秒のタイムラグがあるし、何か喋るだけでも口を開閉したと判定されることもある。実用的かと言われると難しいのだが、あまり急がない操作を頭の上下や音声に割り当てるのは、使用ボタン数を減らすという目的ではありかもしれない。

　顔の動きはかなり細かく取られており、プロファイルでは入力として設定していない動きも、ソフト側では入力があったという通知が出る。FPSの全ての操作を本ソフトで行うよう設定して、音声と顔の向きだけでゲームを動かせるようにすれば、身内での対戦が盛り上がりそうだ。

　もちろん用途はジョークだけではない。身体が自由に動かせない障害者であれば、頭や口の動きを入力操作に置き換えられる本ソフトが重宝する場もあるかもしれない。そこにAIやNPUが噛んでいくというのも、未来の一端を見せられているようで興味深い。筆者が思いつかない、意外で便利な使い方がまだまだありそうなソフトだ。

音声と映像を同時に使用できる。ただしNPUは映像処理のみ使われているようだ

著者プロフィール：石田賀津男（いしだ かつお）

1977年生まれ、滋賀県出身

ゲーム専門誌『GAME Watch』（インプレス）の記者を経てフリージャーナリスト。ゲーム等のエンターテイメントと、PC・スマホ・ネットワーク等のIT系にまたがる分野を中心に幅広く執筆中。1990年代からのオンラインゲーマー。窓の杜では連載『初月100円！ オススメGame Pass作品』、『週末ゲーム』などを執筆。

・著者Webサイト：https://ougi.net/