「Gemini」が動画を理解するコストが激減、Googleが「Agentic Video」を発表

Google、「Gemini」の新しい動画解析機能「Agentic Video」を発表

　米Googleは9月1日（現地時間）、「Gemini」の新機能「Agentic Video」（エージェント的な動画理解）を発表した。「3.7 Flash」、「3.6 Flash」、「3.5 Flash-Lite」の3モデルで、同日より利用できる。

　これまでの「Gemini」は、動画を見て理解する際、決められたフレームレート（既定では毎秒1コマ、APIで変更可能）で最初から機械的に読み込む“静的”な処理を行っていた。つまり、律儀に1コマずつ見ていたわけだ。

　これに対し、新方式「Agentic Video」は「Gemini」が動画内を能動的に探索し、どの部分を、どの速度で見て、どのモダリティ（映像のコマ・音声・文字起こし）を使うべきかを自律的に判断し、必要な部分だけを解析する。今年1月に発表された画像向けの「Agentic Vision」と同じ考え方を、動画に持ち込んだものといえる。

考える（Think）、動画ツールを呼び出す、観察する（Observation）のループを回し、必要な場面と手がかりだけを取りに行く

　同社によると、標準的なベンチマークにおいて、“自律的”な新方式は以下のような改善が確認されているという。

• トークン消費量を最大88％削減
• 分析コストを最大66％削減
• 精度を最大7％向上

　10分のハウツー動画から90分の講義、数時間に及ぶ録画といった長尺のコンテンツでは、とくに大きな効果が得られるという。“静的”な従来方式では、トークン代を覚悟して全編を高い密度で読み込むか、重要な細部を取りこぼしかねない手法でコストを抑えるかの二択を迫られていた。

トークン消費は最大88％減、精度は最大7％向上

　「Agentic Video」は3モデルどれにでも効果があるが、なかでも「3.7 Flash」は総合的な品質と、品質とコストのバランスの両面でもっとも優れているとのこと。テストしたモデルのなかで精度対コストのパレートフロンティア（それ以上改善の余地がない最適な組み合わせ）に位置するとしている。

「Gemini 3.7 Flash」は精度対コストのパレートフロンティアに位置する

　そのほかにも、同社は「Agentic Video」の活用例として以下を挙げている。

• 1秒未満の場面検索：毎秒1コマの読み込みでは見逃してしまう一瞬の状態変化やカットの切り替わりを正確に特定。動画編集の自動化に道が開ける
• 長尺動画からの“干し草の山の針”探し：数時間の動画を対象にした複雑な問い合わせにも、数百万トークンを費やさずに答えられる
• 異常検知：気になる時間帯だけをより高いフレームレートでサンプリングし直し、素早い動きや微妙な視覚的アーティファクトを精査できる
• 動作・物体のカウント：繰り返される身体動作や、時間をまたいで現れる個々の物体を正確に数えられる

　「Agentic Video」は現在、「Google AI Studio」の「Gemini API」と「Gemini Enterprise Agent Platform」で利用可能。アップロードした動画のほか、「YouTube」の動画も対象にできる。APIの設定で「processing」を「agentic」に指定するだけで有効になり、料金は通常の「Gemini API」のトークン単価のみ。この機能を使うための追加料金はかからない。

　なお、「Agentic Video」はコンシューマー製品にも応用されるとのこと。「Gemini」アプリでは「Flash」「Flash-Lite」モデルを通じて近く全ユーザーへ展開される。数カ月以内には「YouTube」の動画視聴ページにある「Ask YouTube」機能でも活用され、映像に基づいたより的確な回答が得られるようになる。