Arm版「DaVinci Resolve Studio」のAI処理をNPUで ～「Magic Mask」が最大4.7倍高速化！

動画編集では使い道が多いNPU

　AIの強みの1つである画像処理分野でも、NPUの活用が進んでいる。動画編集ソフト「DaVinci Resolve」は、いち早くNPU対応を進めており、一部のAI処理を高速化するためにNPUを活用している。

　「DaVinci Resolve」でNPUを活用するのは、AIツールと呼ばれる機能。AIツールについては、DaVinci Resolve 19のWebサイトで10種類の機能が紹介されている。ただしNPUを活用できるのは、今のところ有償版の「DaVinci Resolve Studio」のみとのことだ。

　今回は「Surface Laptop 13.8インチ（第7世代）」で実際にいくつかのAIツールを試してみた。「DaVinci Resolve」はArm版アプリが提供されており、快適に利用できる。

「Magic Mask」でNPUを活用

手を動かしているだけの動画を用意

　最初に試したのは「Magic Mask（マジックマスク）」という機能。AIが人物やオブジェクトを適切に検出し、動きをトラッキングする。特定の人物だけ色味を調整して目立たせたり、動画から人物だけを抜き出して別の動画と合成したりできる。

　「Magic Mask」でNPUを使用することで、最大4.7倍処理が速くなるという。どこでNPU処理が使われるのか、作業手順を簡単に確認していく。

　まず手の動きを映した適当な動画を用意して「DaVinci Resolve Studio」に読み込ませた後、カラーページを開いて、中段辺りにある「Magic Mask」のアイコンをクリックする。「Magic Mask」にはオブジェクトマスクと人物マスクが選べるが、今回は手の動きをトラッキングするということで、オブジェクトマスクを選んだ。

　次にマウスカーソルを動画の上に動かすと、ポインタが［+］マークの付いたスポイトに変わる。この状態で、手のおおまかな形に沿って線を引いていく。

手の形に沿って適当に線を引く

　だいたいできたら、「Magic Mask」ウインドウの右上にある、四角が2つ重なったような形のアイコンをクリック。すると検出されたものが赤く色づけされる。今回だと、きちんと手の部分だけが検出された。

手の輪郭に沿って、綺麗に検出される

　次はトラッキング作業。「Magic Mask」ウインドウの左右の矢印マークをクリックする。すると動画が動き出し、トラッキングが始まる。動画の各フレームで手が動いても、それに追従して赤い色が付けられているのがわかる。つまり動いている手をきちんと検出し続けている。画面から手が消えると、何も検出されなくなる。

　このトラッキング作業の際に、NPUが働いている。使用率は50％程度で、NPUをフルに使い切っているわけではないが、動画のサイズなどによっても違いはありそうだ（今回の動画はフルHD/30fpsだった）。

トラッキング中の表示。動く手をトラッキングするのにNPUを使用する

　他には、動画を切り抜いた時に動く人物などに画面を追従させる「スマートリフレーム」や、指定したオブジェクトを消去しつつ違和感のない見た目にする「オブジェクト除去」などがある。今回のテストでも機能としては正しく働いていたが、NPUを使用している状態は確認できなかった。この辺りも動画の種類や設定によるのかもしれない。

動画を縦型に切り抜く時などに、動く人物に合わせて適切な場所を自動で選ぶ「スマートリフレーム」。自転車に乗っている人をできるだけ中央に据えた動画ができる

指定したオブジェクトを自然に消す、いわゆる消しゴムツールの動画版「オブジェクト除去」。2人組の自転車のうち、前の1人が消えている

　他にも音声を処理するAIなどもあり、NPUが使えそうな場面はまだまだある。まだ万全かつお手軽に使える状態とは言えないものの、動画処理ではAIを大いに活用できるだろうという未来を見せてくれている。

著者プロフィール：石田賀津男（いしだ かつお）

1977年生まれ、滋賀県出身

ゲーム専門誌『GAME Watch』（インプレス）の記者を経てフリージャーナリスト。ゲーム等のエンターテイメントと、PC・スマホ・ネットワーク等のIT系にまたがる分野を中心に幅広く執筆中。1990年代からのオンラインゲーマー。窓の杜では連載『初月100円！ オススメGame Pass作品』、『週末ゲーム』などを執筆。

・著者Webサイト：https://ougi.net/