Transformez vos enregistrements d'écran en compétences IA réutilisables avec Skill Recorder de Microsoft

Microsoft a publié une application de bureau open source appelée Skill Recorder qui enregistre votre session de travail à l'écran et utilise GitHub Copilot CLI pour la reconstruire en une intention plus des étapes ordonnées, puis crée une compétence ou une automatisation réutilisable pour Microsoft Scout, Microsoft Copilot Cowork ou Copilot Studio. C'est un changement de jeu pour les développeurs et les utilisateurs expérimentés qui veulent apprendre aux agents IA à effectuer des tâches répétitives sans écrire une seule ligne de code.

Pourquoi Skill Recorder est important

Les agents IA ne sont aussi utiles que les compétences qu'ils possèdent. Traditionnellement, créer une compétence pour un agent comme Microsoft Copilot nécessitait d'écrire manuellement un fichier SKILL.md avec des instructions détaillées, ce qui est long et sujet aux erreurs. Skill Recorder inverse ce processus : vous effectuez simplement la tâche une fois sur votre écran, et l'application capture tout—clics, changements de fenêtre, URL, et même votre narration vocale—puis utilise Copilot pour analyser l'enregistrement et générer une procédure structurée. Cela signifie que vous pouvez apprendre à un agent à faire tout ce que vous pouvez faire sur votre ordinateur, de remplir des formulaires à naviguer dans des flux de travail complexes.

L'idée clé est que la compétence générée préfère les outils natifs de l'agent (comme le CLI gh ou web_fetch) plutôt que de rejouer des clics UI. Cela rend la compétence plus robuste et généralisable. Par exemple, enregistrer la soumission d'un formulaire peut apprendre à l'agent à soumettre tous les formulaires de ce type, car la compétence est basée sur l'intention et les étapes, pas sur des coordonnées de clic pixel parfait.

Comment cela fonctionne

Le flux de travail est élégamment simple :

Enregistrer : Appuyez sur le bouton d'enregistrement (ou utilisez le raccourci global ⌘⇧R sur macOS / Ctrl+Shift+R sur Windows) et effectuez votre tâche. Skill Recorder capture votre écran et votre activité localement, en arrière-plan. Une petite barre toujours au premier plan montre l'état de la capture et du microphone, vous permettant de couper/réactiver le son ou de changer de micro à la volée.
Analyser : Cliquez sur Analyser et GitHub Copilot reconstruit une intention globale et une liste ordonnée d'étapes à partir de l'enregistrement. Vous pouvez examiner et modifier l'analyse jusqu'à ce qu'elle soit correcte.
Créer : À partir de l'analyse approuvée, générez une compétence réutilisable (une procédure SKILL.md) et/ou une automatisation planifiée (la même procédure sur un déclencheur).

Ce processus est conçu pour être itératif—vous pouvez enregistrer, analyser, ajuster et régénérer jusqu'à ce que la compétence corresponde parfaitement à votre intention.

Ce qui est capturé

Skill Recorder est soucieux de la confidentialité. L'enregistrement, le stockage, l'extraction de frames et la transcription optionnelle de la narration se font sur votre appareil ; rien ne quitte votre ordinateur pendant l'enregistrement. Seulement lorsque vous choisissez Analyser, l'application envoie la chronologie des événements (titres de fenêtres/documents, URL, aperçus du presse-papiers), les images d'écran extraites et le texte de la narration au cloud de GitHub pour que Copilot les traite.

Plus précisément, l'application suit :

Suivi des fenêtres : changements d'application active et de fenêtre.
URL du navigateur : la page sur laquelle vous êtes (macOS).
Vidéo d'écran : enregistrée par Chromium ; des captures à basse fréquence ne sont conservées que lorsque l'écran change ou qu'un battement de cœur est dû.
Presse-papiers : de courts aperçus du texte copié qui relient les étapes.
Narration (optionnelle) : commentaires parlés, transcrits sur l'appareil dans l'une des 99 langues prises en charge par Whisper (un téléchargement unique d'environ 252 Mo du modèle lors de la première utilisation).

⚠️ Important : Gardez les secrets hors de vos enregistrements. N'enregistrez pas, ne tapez pas, ne collez pas et ne narrez pas de mots de passe, jetons, clés API ou autres informations confidentielles. L'application vous le rappelle avant chaque enregistrement.

Installation

Skill Recorder est publié en tant que version source. Une commande télécharge un runtime Node.js épinglé, construit la version exacte du commit sur votre machine et ajoute une application Skill Recorder (Source) que vous pouvez relancer à tout moment. Rien n'est installé globalement. Vous aurez besoin d'un compte GitHub avec accès Copilot ; le CLI Copilot est fourni avec l'application.

macOS est la cible principale, mais Windows 11 (x64 et ARM64) est également pris en charge.

macOS / Ubuntu

Ouvrez la dernière version et copiez la commande pour votre plateforme. Chaque version épingle un commit exact, donc la commande réelle ressemble à ceci (remplacez <40-character-release-commit> par le hash réel du commit) :

commit="<40-character-release-commit>"
curl -fsSL "https://raw.githubusercontent.com/microsoft/skill-recorder/$commit/install.sh" | SKILL_RECORDER_COMMIT="$commit" bash

Pour garder l'application en cours d'exécution après la fermeture du terminal, ajoutez SKILL_RECORDER_DETACHED=1 :

commit="<40-character-release-commit>"
curl -fsSL "https://raw.githubusercontent.com/microsoft/skill-recorder/$commit/install.sh" | SKILL_RECORDER_COMMIT="$commit" SKILL_RECORDER_DETACHED=1 bash

Sur macOS, cela ajoute une application Skill Recorder (Source) dans ~/Applications (relancez depuis Spotlight, Launchpad ou le Dock). Sur Ubuntu, cela ajoute une entrée d'application correspondante.

Windows (PowerShell)

$commit="<40-character-release-commit>"
$env:SKILL_RECORDER_COMMIT=$commit
irm "https://raw.githubusercontent.com/microsoft/skill-recorder/$commit/install.ps1" | iex

Cela ajoute des raccourcis Skill Recorder (Source) sur votre bureau et dans le menu Démarrer.

Premiers pas

Après l'installation, lancez l'application. Au premier lancement, macOS demandera la permission d'enregistrement d'écran ; accordez-la et vous êtes prêt à enregistrer.

Ensuite, suivez le flux de travail en trois étapes : Enregistrer, Analyser, Créer. La première fois que vous cliquez sur Analyser, Skill Recorder proposera de vous connecter à Copilot si vous n'êtes pas déjà connecté.

Pour des instructions détaillées sur l'inspection du script d'installation, la configuration des options d'installation, la mise à jour ou la désinstallation, consultez le fichier INSTALL.md dans le dépôt.

Développer à partir des sources

Si vous voulez bidouiller le code, vous aurez besoin de Node.js 24. Après avoir extrait une révision de version :

npm ci
npm run compliance:licenses
npm run dev

npm run dev démarre Vite et lance l'application Electron avec rechargement à chaud. Le raccourci global ⌘⇧R (macOS) / Ctrl+Shift+R (Windows) bascule l'enregistrement depuis n'importe où.

Il existe également une suite d'évaluation pour le descripteur et les constructeurs Copilot :

npm run eval          # évalue le descripteur sur des enregistrements synthétiques
npm run eval:builder  # évalue la généralisation des compétences/automatisations

Conclusion

Skill Recorder est un outil puissant qui comble le fossé entre la démonstration humaine et l'automatisation IA. En transformant vos enregistrements d'écran en compétences structurées et réutilisables, il rend les agents IA beaucoup plus pratiques pour les tâches quotidiennes. Que vous soyez un développeur créant des automatisations personnalisées ou un utilisateur expérimenté cherchant à rationaliser un travail répétitif, cet outil vaut la peine d'être exploré.

Consultez le dépôt GitHub pour les dernières versions, la documentation et pour contribuer. Avec 2,4k étoiles et un développement actif, c'est un ajout prometteur à l'écosystème des agents IA.

Source

microsoft/skill-recorder : Application de bureau qui enregistre votre session de travail à l'écran et utilise GitHub Copilot CLI pour la reconstruire en une intention plus des étapes ordonnées, puis construit une compétence ou une automatisation réutilisable pour Microsoft Scout, Microsoft Copilot Cowork ou Copilot Studio.