AIBit - オープンソースプロジェクトの発見 AIBit - オープンソースプロジェクトの発見

画面録画を再利用可能なAIスキルに変換：MicrosoftのSkill Recorder

MicrosoftのSkill Recorderは、画面のアクティビティをキャプチャし、GitHub Copilot CLIを使用してAIエージェント向けの再利用可能なスキルや自動化に変換します。その仕組みとインストール方法を学びましょう。

Microsoftは、Skill Recorderというオープンソースのデスクトップアプリをリリースしました。これは、画面上の作業セッションを録画し、GitHub Copilot CLIを使用して、意図と順序付けられたステップとして再構築し、Microsoft Scout、Microsoft Copilot Cowork、またはCopilot Studio向けの再利用可能なスキルまたは自動化を構築します。これは、コードを1行も書かずにAIエージェントに反復的なタスクを実行させる方法を教えたい開発者やパワーユーザーにとって、ゲームチェンジャーです。

Skill Recorderが重要な理由

AIエージェントは、そのスキルと同じくらい有用です。従来、Microsoft Copilotのようなエージェント用のスキルを作成するには、詳細な指示を含むSKILL.mdファイルを手動で作成する必要があり、時間がかかりエラーが発生しやすかったのです。Skill Recorderはこのプロセスを逆転させます。画面上でタスクを一度実行するだけで、アプリがクリック、ウィンドウ切り替え、URL、さらには音声ナレーションまですべてをキャプチャし、Copilotを使用して録画を分析し、構造化された手順を生成します。つまり、フォームへの記入から複雑なワークフローの操作まで、コンピューター上でできるあらゆることをエージェントに教えることができます。

重要な洞察は、生成されたスキルは、UIクリックの再生よりもエージェントのネイティブツール（gh CLIやweb_fetchなど）を優先するということです。これにより、スキルはより堅牢で一般化可能になります。たとえば、1つのフォームを送信する自分を録画すると、スキルが意図とステップに基づいているため、ピクセル単位のクリック座標ではなく、そのタイプのすべてのフォームを送信するようにエージェントに教えることができます。

仕組み

ワークフローは非常にシンプルです：

  1. 録画: 録画ボタンを押すか（macOSではグローバルショートカット⌘⇧R、WindowsではCtrl+Shift+R）、タスクを実行します。Skill Recorderは画面とアクティビティをローカルでバックグラウンドでキャプチャします。小さな常時表示バーがキャプチャとマイクの状態を示し、その場でミュート/ミュート解除やマイクの切り替えができます。

  2. 分析: 分析をクリックすると、GitHub Copilotが録画から全体的な意図と順序付けられたステップのリストを再構築します。分析を確認して編集し、正しく読めるようにすることができます。

  3. 作成: 承認された分析から、再利用可能なスキル（SKILL.md手順）および/またはスケジュールされた自動化（トリガー上の同じ手順）を生成します。

このプロセスは反復的に設計されており、スキルが意図と完全に一致するまで、録画、分析、微調整、再生成を行うことができます。

キャプチャされる内容

Skill Recorderはプライバシーに配慮しています。録画、保存、フレーム抽出、オプションのナレーション文字起こしはすべてデバイス上で行われ、録画中にコンピューターからデータが送信されることはありません。分析を選択した場合のみ、アプリはイベントタイムライン（ウィンドウ/ドキュメントタイトル、URL、クリップボードプレビュー）、抽出された画面画像、ナレーションテキストをGitHubのクラウドに送信してCopilotが処理します。

具体的には、アプリは以下を追跡します：

  • ウィンドウ追跡: アクティブなアプリとウィンドウの切り替え。
  • ブラウザのURL: 現在いるページ（macOS）。
  • 画面ビデオ: Chromiumによって録画され、画面が変更されたときまたはハートビートが期限のときにのみ低レートのスナップショットが保持されます。
  • クリップボード: コピーされたテキストの短いプレビューで、ステップを結び付けます。
  • ナレーション（オプション）: 音声コメント。Whisperの99のサポート言語のいずれかでデバイス上で文字起こしされます（初回使用時に約252 MBのモデルを一度だけダウンロード）。

⚠️ 重要: 録画に秘密情報を含めないでください。パスワード、トークン、APIキー、その他の機密情報を録画、入力、貼り付け、ナレーションしないでください。アプリは録画のたびに注意を促します。

インストール

Skill Recorderはソースリリースとして公開されています。1つのコマンドで、固定されたNode.jsランタイムをダウンロードし、マシン上で正確なリリースコミットをビルドし、いつでも再起動できる**Skill Recorder（ソース）**アプリを追加します。グローバルにインストールされるものはありません。Copilotアクセス権を持つGitHubアカウントが必要です。Copilot CLIはアプリに同梱されています。

macOSが主なターゲットですが、Windows 11（x64およびARM64）もサポートされています。

macOS / Ubuntu

最新のリリースを開き、プラットフォームのコマンドをコピーします。各リリースは正確なコミットを固定しているため、実際のコマンドは次のようになります（<40文字のリリースコミット>を実際のコミットハッシュに置き換えてください）：

commit="<40文字のリリースコミット>"
curl -fsSL "https://raw.githubusercontent.com/microsoft/skill-recorder/$commit/install.sh" | SKILL_RECORDER_COMMIT="$commit" bash

ターミナルを閉じた後もアプリを実行し続けるには、SKILL_RECORDER_DETACHED=1を追加します：

commit="<40文字のリリースコミット>"
curl -fsSL "https://raw.githubusercontent.com/microsoft/skill-recorder/$commit/install.sh" | SKILL_RECORDER_COMMIT="$commit" SKILL_RECORDER_DETACHED=1 bash

macOSでは、これにより~/Applicationsに**Skill Recorder（ソース）**アプリが追加されます（Spotlight、Launchpad、またはDockから再起動できます）。Ubuntuでは、対応するアプリケーションエントリが追加されます。

Windows（PowerShell）

$commit="<40文字のリリースコミット>"
$env:SKILL_RECORDER_COMMIT=$commit
irm "https://raw.githubusercontent.com/microsoft/skill-recorder/$commit/install.ps1" | iex

これにより、デスクトップとスタートメニューに**Skill Recorder（ソース）**ショートカットが追加されます。

最初のステップ

インストール後、アプリを起動します。初回起動時に、macOSは画面収録の許可を求めます。許可すると、録画の準備が整います。

次に、録画、分析、作成の3ステップのワークフローに従います。初めて分析をクリックすると、まだサインインしていない場合は、Skill RecorderがCopilotにサインインするよう提案します。

インストールスクリプトの検査、インストールオプションの設定、更新、アンインストールの詳細な手順については、リポジトリのINSTALL.mdファイルを参照してください。

ソースからの開発

コードをハックしたい場合は、Node.js 24が必要です。リリースリビジョンをチェックアウトした後：

npm ci
npm run compliance:licenses
npm run dev

npm run devはViteを起動し、ホットリロード付きでElectronアプリを起動します。グローバルショートカット⌘⇧R（macOS）/ Ctrl+Shift+R（Windows）で、どこからでも録画を切り替えることができます。

また、Copilotディスクライバーとビルダー用の評価スイートもあります：

npm run eval          # 合成録画に対するディスクライバーのスコアリング
npm run eval:builder  # スキル/自動化の一般化のスコアリング

結論

Skill Recorderは、人間のデモンストレーションとAI自動化の間のギャップを埋める強力なツールです。画面録画を構造化された再利用可能なスキルに変換することで、AIエージェントを日常のタスクにはるかに実用的にします。カスタム自動化を構築する開発者であれ、反復作業を合理化したいパワーユーザーであれ、このツールは探索する価値があります。

最新のリリース、ドキュメント、貢献については、GitHubリポジトリをチェックしてください。2.4kのスターと活発な開発により、AIエージェントエコシステムへの有望な追加です。

ソース

microsoft/skill-recorder: 画面上の作業セッションを録画し、GitHub Copilot CLIを使用して意図と順序付けられたステップとして再構築し、Microsoft Scout、Microsoft Copilot Cowork、またはCopilot Studio向けの再利用可能なスキルまたは自動化を構築するデスクトップアプリ。