スクリーンを理解して回答・操作補助するAI「Copilot Vision」がテキスト対話に対応

デスクトップやそこで動作するアプリを「Copilot」と視覚的に共有し、チャットコンテキストに追加できる「Copilot Vision」

　米Microsoftは10月28日（現地時間）、「Copilot on Windows」のアップデートを発表した。「Copilot Vision」がテキスト入出力に対応（Vision with text-in, text-out）したという。

　「Copilot Vision」はデスクトップやそこで動作するアプリを「Copilot」と視覚的に共有し、チャットコンテキストに追加できる機能。ユーザーインターフェイスのわからないところについて質問をしたり、具体的な使い方をナビゲーションしてもらったりできるアシスタント機能だ。

　しかし、これまでの「Copilot Vision」は音声でしか対話できなかった。今回のアップデートでその制限が解消され、通常のチャットと同様、「Copilot Vision」とテキストで対話できるようになった。両者を使い分けることも可能だ。

「Copilot Vision」のミニツールバー。これまでは音声対話が前提だった

具体的な使い方をナビゲーションしてもらう

　「Copilot Vision」を開始するには、「Copilot」アプリ（Copilot on Windows）のプロンプト入力ボックスにあるメガネアイコンをクリックする。するとポップアップでデスクトップとアプリウィンドウがリストアップされるので、「Copilot」と共有したいものを選択すればよい。共有されたウィンドウの周りには、共有中であることを示す赤い光のエフェクトが追加される。このエフェクトも今回の改善のようだ。

テキストで「Copilot Vision」と対話。共有ウィンドウの周りには赤いオーラエフェクト

　「Copilot Vision」をテキストで利用（text-in, text-out）したい場合は、ミニツールバーのマイクボタンをクリックして音声入力を無効化し、プロンプトボックスにテキストを入力すればよい。回答がテキストで「Copilot」ウィンドウに出力される。再びマイクボタンを押せば、テキスト対話から音声対話に切り替わる。「Copilot Vision」共有を停止するには、ミニツールバーで停止ボタンを押せばよい。

テキストで質問すると、回答がテキストで「Copilot」ウィンドウに出力される

　この機能は「Microsoft Store」経由で「Windows Insider Program」の全チャネルへ展開される。「Microsoft Copilot」アプリv1.25103.107以降で体験可能だ。ただし、段階的にロールアウトされるため、アップデートしてもすぐに利用できるとは限らない点には注意したい。