デスクトップ操作を記録してAIのスキル・自動化を生成。Microsoft、「Skill Recorder」を公開

「Skill Recorder」

　米Microsoftは7月30日（日本時間）、「Skill Recorder」をリリースした。デスクトップ操作を記録して、その意図と手順を「GitHub Copilot CLI」に解析させ、再利用可能なAIエージェントのスキル（SKILL.md）や自動化を生成するデスクトップアプリだという。

　「Skill Recorder」は「GitHub」でホストされているオープンソースプロジェクトで、ライセンスは「MIT」。リリースページに記載されているインストールコマンドをターミナルで実行するだけで、あとは全自動でセットアップが行える。対応OSはWindows 11、macOS、Ubuntu。執筆時現在の最新版は、31日付けでリリースされたv0.3.1だ。

本ソフトは“ソースリリース”で提供される。バイナリは用意されておらず、インストールコマンドをターミナルで実行すれば、必要なコンポーネントのダウンロードからコンパイル、セットアップまでが自動で実行される

　アプリケーションは「Electron」と「Vite」で構築されており、以下のステップで利用する。

1. 録画：［Ctrl］＋［Shift］＋［R］キー（macOSは［command］＋［shift］＋［R］キー）を押して、デスクトップ操作の記録を開始。録画中は小さなバーが最前面に表示され、スクリーンと手順がバックグラウンドでローカルに記録される。うまくいかなかったときは破棄できる（確認ダイアログあり）
2. 解析：［Analyze］をクリックすると、「GitHub Copilot」が意図と手順を再構成する。読んで納得できるまで編集できる
3. 生成：内容を承認したら、スキルや自動化を書き出す

　記録されるデスクトップ操作は、ウィンドウの切り替えから閲覧中のWebページ、クリップボードの内容までさまざまだ。マイク入力を有効化して、OpenAIが開発したオープンソースの音声認識AIモデル「Whisper」で書き起こすことも可能。

• ウィンドウの追跡：アクティブなアプリやウィンドウの切り替え
• ブラウザーのURL：閲覧中のページ（macOS）
• 画面の映像：「Chromium」が記録。画面が変化したときと、一定時間ごとの低頻度スナップショットのみ保持される
• クリップボード：手順のつながりを把握するための、コピーしたテキストの短いプレビュー
• ナレーション（任意）：話した内容を端末内で文字起こし。「Whisper」がサポートする99言語を利用できる（初回のみ約252MBのモデルをダウンロード）

　なお、「Skill Recorder」は機密情報を区別せずに取り込んでしまう。パスワード、トークン、APIキーなどが記録されないように十分注意してほしい。

　記録されたデスクトップ操作は「GitHub Copilot」が解析した上で、AIエージェントが実行できる“順序立てられたステップのリスト”の形式でライブラリに保存される。ユーザーのクリック操作などをそのまま機械的に記録・再現するのではなく、可能であればネイティブツールの利用などに置き換え、同種のシーンでも再利用できるように一般化してくれるのがミソだ。

記録されたデスクトップ操作は「GitHub Copilot」が解析した上で、AIエージェントが実行できる“順序立てられたステップのリスト”の形式でライブラリに保存

　生成したスキルや自動化は、「Microsoft Scout」、「Microsoft Copilot Cowork」、「Copilot Studio」で利用できる。

• スキル：エージェントが必要に応じて実行する「SKILL.md」形式の手順書
• 自動化（Automation）：同じ手順を、スケジュールやトリガーで実行する

　なお、記録された操作は基本的にローカルで処理される。外部へ送出されるのは、ユーザーが［Analyze］ボタンを選んで「GitHub Copilot」へ解析を依頼したときだけだ。送信されるのはイベントの時系列、抽出された画面の画像、ナレーションのテキストなどで、それ以外のデータは送出されない。