デスクトップのものをなんでも選べるAI機能「Click to Do」が大型更新を準備中

「Copilot+ PC」のAI機能「Click to Do」（クリックで実行）

　「Copilot+ PC」のAI機能 「Click to Do」（「クリックで実行」とも） は、スクリーンに映っているテキストや画像をなんでも選択できるようにしてしまう便利機能だ。クリップボードへコピーしたり、他のアプリで開いたり、「Microsoft Edge」と「Bing」でWeb検索したりといった追加アクションも利用できる。この追加アクションはAIを活用したものも含め、現在も拡充が進められており、Windows 11で今一番アツい機能の一つといえる。

　米国時間10月21日にRelease PreviewチャネルでリリースされたBuilds 26100.7015および26200.7015（KB5067036）では、この「Click to Do」で大きな機能追加が行われている。まもなくプレビューパッチ、セキュリティパッチなどで製品版OSにも展開される見込みだ。

スクリーンに映っているテキストや画像をなんでも選択して、さまざまな便利アクションを実行できるようにする「Click to Do」。詳しい使い方はチュートリアルで

　ただし、一部の機能はまだ日本語で利用できない。また、一部環境から段階的にロールアウトされる機能もあるので、アップデートしてもすぐに利用できるとは限らない点には注意したい。

プロンプトボックス

　「Copilot プロンプトボックス」（Copilot prompt box）は、AIへの指令（プロンプト）を自由に入力できるボックスだ（編集部未確認）。

「Copilot プロンプトボックス」（Copilot prompt box）

　「Click to Do」がデスクトップコンテンツを認識しても、自分がやりたいことにピッタリなアクションが「Click to Do」に用意されていないこともある。そんなときは、この「Copilot プロンプトボックス」に直接プロンプトを入力してみよう。「Click to Do」の標準アクションではサポートされていないタスクも、チャットAI「Copilot」に任せることができる。

　また、「Click to Do」が検出したコンテンツに応じて、ローカルAI「Phi-Silica」がおすすめのプロンプトをサジェスト（提案）する機能もある。運がよければその推奨プロンプトをクリックするだけで作業を完結できるだろう。

　ただし、今のところ推奨プロンプトが表示されるのは英語、スペイン語、フランス語のテキストを選択した場合のみだ。また現在、欧州経済領域（EEA）と中国では利用できない。

テキストの翻訳

　「Click to Do」で認識されたテキストを選択すると、［翻訳］コマンドが利用できることがある。発動条件は以下の通り。

• Windowsの表示言語や優先言語とは異なるテキストを選択している場合
• 選択テキストがある程度長い場合

　編集部にて試したところ、英語テキストの選択で翻訳先としてスペイン、ポルトガル、フランス、ドイツ、イタリアがリストアップされた。日本語への翻訳にも早く対応してほしいところだ。

選択テキストを翻訳

　なお、このエクスペリエンスも欧州経済地域（EEA）と中国では未提供。

単位の変換

　「Click to Do」はURLやメールアドレスといった特定のタイプのテキストを認識し、それに応じたアクションを提案する。今回のアップデートではこの機能が拡充され、単位付きの数字を認識できるようになる。

　編集部ではまだ確認できなかったが、長さ、面積、体積、高さ、温度、速度などがサポートされるようだ。

　なお、このエクスペリエンスも欧州経済地域（EEA）と中国では未提供。

新しい起動ジェスチャー

　「Click to Do」をトリガー（起動）するジェスチャーとして、 2本の指で押し続ける（タップ＆ホールド） が新たにサポートされる。タッチパネル搭載デバイスで試してみるとよいだろう。

選択方法の拡充

　「Click to Do」で認識されたコンテンツを選択する方法として、以下の3つがツールバーで選べるようになった。

• クリック選択
• 四角形選択（矩形選択）
• フリーフォーム選択

　矩形選択はテキストなどを選択したい場合に、フリーフォーム選択はペンや指でオブジェクトを選びたい場合に便利だ。

フリーフォーム選択はペンや指でオブジェクトを選びたい場合に便利

　また、［Ctrl］キーを押しながら複数のアイテムを選択する機能も追加。選択したアイテムをまとめてアクションにかけることができる。

テーブル（表）の検出

　さらに、最新の「Click to Do」ではテーブル（表）の検出もサポートされている。シンプルな表であれば、それが画像であっても正しくテーブルとして認識し、CSVデータとしてクリップボードへコピーしたり、「Excel」でテーブルに変換するといったアクションが利用できる。

テーブル（表）の検出もサポート。CSVデータとしてクリップボードへコピーできる。「Microsoft 365」＋「Excel」ユーザーならば、「Excel」テーブルに変換することも

　なお、この機能はSnapdragonを搭載した「Copilot+ PC」でのみ利用可能。Intel/AMD搭載「Copilot+ PC」でも、近日中にサポートされる予定。また、「Excel」アクションを利用するには、「Microsoft 365」サブスクリプションと最新版の「Excel」アプリが必要。欧州経済地域（EEA）ではまだ利用できない。

「Microsoft 365」のプロフィールカード

　「Click to Do」がメールアドレスを認識して、それに合わせた追加アクションを表示することは前に述べたが、それが自社の「Microsoft 365」メールアドレスであれば、ライブペルソナカード（Live Persona Cards）と呼ばれるプロフィール情報を表示できるようになる。

自社の「Microsoft 365」メールアドレスを認識して、ライブペルソナカードを表示

　プロフィールカードには姓名や所属、地位、連絡先などに加え、在籍情報や最近の行動なども表示される。これらは「Outlook」や「Teams」でも調べることはできるが、メールアドレスをコピーしてアプリを起動・検索する手間が省けるのはうれしい。

　そのほかにも、メールや表といった特定のコンテンツを「Click to Do」が認識した場合に、その周りを明るく表示するといった細かい使い勝手の改善が行われている。