ニュース

Microsoft、「Windows Copilot Runtime」を発表

ローコードAPIから低レベル開発まで、WindowsのすべてのレイヤーへAIを注入

2024年5月22日 08:05

「Windows Copilot Runtime」

　米Microsoftは5月21日（現地時間）、「Windows Copilot Runtime」を発表した。同社の生成AI「Microsoft Copilot」の技術スタックをWindowsのすべてのレイヤーへ注入し、アプリ開発者がAIを簡単に組み込めるようにしていくという。

　「Windows Copilot Runtime」は最新のAIモデルやフレームワークを実験してみたい開発者、自分のアプリにAI機能を組み込んでみたい開発者、そこまでする気はないがOSのAI機能は積極的に活用してみたいと考えている開発者のすべてを包括すべく、優れたAIエクスペリエンスを構築するために必要なものがすべてそろっている。

  • Silicon：「Copilot+ PC」などに搭載されるGPUやNPU（AIプロセッサー）といった強力なクライアントシリコン。「Windows Copilot Runtime」の基盤
  • AI frameworks + toolchains：DirectML、ONNX Runtime、PyTorch、WebNNなどのAIフレームワークや、Olive、AI Toolkit for Visual Studio Codeなどのツールチェーンを用いて独自のモデルを導入できるようにする
  • Windows Copilot Library + On-device models：Windowsに付属する40以上ものオンデバイスモデルを利用したAPIのセット。フレームワークやツールチェーンに習熟していなくても、アプリにAI機能を組み込める
  • Applications + Experiences：Windowsシェル、Win32 アプリ、Webアプリで作成したアプリケーションとエクスペリエンス。ノンコーディングで連携できるものも

　開発者は自分の関心と目的に応じて、好みのレイヤーの「Windows Copilot Runtime」スタックを選択すればよい。

　たとえば、「Copilot+ PC」ならば以下のOS組み込みAIが利用できる。

  • Recall（回顧）：デバイスで過去に表示されていたコンテンツをPCが覚えて、あとからユーザーが検索できるようにする仕組み
  • Cocreator：自然言語とインクストロークをもとにユーザーのアイデアを実現してくれるAI画像ジェネレーター
  • Restyle Image：画像生成AIが提案した写真のスタイルをもとに加工
  • ライブキャプション翻訳：ビデオとオーディオから英語の字幕へリアルタイム翻訳。40カ国以上に対応
  • Windows Studio Effect：AIを活用したビデオ通話エフェクトの総称

　これらのAI機能は、「Windows Copilot Library」でアプリへ組み込むことができる。「Windows App SDK」を通じて6月にも提供が開始される見込みなので、興味のある開発者は試してみるとよいだろう。

Windows検索を再定義する「Recall」

　たとえば、「Recall」機能のデータベースは「Windows Semantic Index」という新しいWindows検索の仕組みに基づいており、内部ではマルチモーダルSLM（小規模言語モデル）が用いられている。つまり、さまざまな種類のコンテンツを理解し、複数の言語でテキストから画像、ビデオまで、膨大な量の情報をWindowsで整理・管理できるわけだ。「Windows Semantic Index」はユーザーのローカルデバイス上に保存され、自然言語検索でアクセスできる。このAPIは開発者にも開かれており、開発者は独自のアプリデータを用いて独自のセマンティックインデックスストアを構築し、「Recall」へ対応させることができる。

　また、一部のAI機能はノンコーディングでの活用も可能。たとえば「WhatsApp」などは「Windows Studio Effect」コントロールを直接UIに統合しているとのこと。ライブキャプション翻訳も、コーディングなしで活用できる場面が多いだろう。

　さらに、より低レベルな開発も「Windows Copilot Runtime」はカバーする。AIモデルとツールチェーンに興味のある開発者には以下の機能が提供される。

  • Phi Silica：「Copilot+ PC」のNPU向けにカスタマイズされた高性能・高効率なSLM
  • DirectML：Windowsで利用できる機械学習向けの高パフォーマンスな低レベルAPI。開発者は独自のモデルを持ち込み、Windowsハードウェアに拡張できる
  • PyTorchをネイティブサポート：NVIDIAと協力して「DirectML」で実現。何千ものHugging FaceモデルがWindows上で動作するように。本日より利用可能で、NPU対応も近日中に開始される
  • WebNN：「DirectML」と「ONNX Runtime Web」を搭載した機械学習の新しいWeb標準
  • 次世代NPU「Intel AI Boost」で「DirectML」がサポート。近日中に一般リリース（GA）
「DirectML」のアーキテクチャー
Amazonで購入