Convierte Grabaciones de Pantalla en Habilidades de IA Reutilizables con el Grabador de Habilidades de Microsoft

Microsoft ha lanzado una aplicación de escritorio de código abierto llamada Grabador de Habilidades que graba tu sesión de trabajo en pantalla y usa la CLI de GitHub Copilot para reconstruirla como una intención más pasos ordenados, y luego crea una Habilidad o Automatización reutilizable para Microsoft Scout, Microsoft Copilot Cowork o Copilot Studio. Esto es un cambio de juego para desarrolladores y usuarios avanzados que quieren enseñar a agentes de IA a realizar tareas repetitivas sin escribir una sola línea de código.

Por Qué el Grabador de Habilidades Importa

Los agentes de IA son tan útiles como las habilidades que poseen. Tradicionalmente, crear una habilidad para un agente como Microsoft Copilot requería escribir manualmente un archivo SKILL.md con instrucciones detalladas, lo cual consume tiempo y es propenso a errores. El Grabador de Habilidades invierte este proceso: simplemente realizas la tarea una vez en tu pantalla, y la aplicación captura todo—clics, cambios de ventana, URLs, e incluso tu narración de voz—luego usa Copilot para analizar la grabación y generar un procedimiento estructurado. Esto significa que puedes enseñar a un agente a hacer cualquier cosa que puedas hacer en tu computadora, desde llenar formularios hasta navegar por flujos de trabajo complejos.

La idea clave es que la habilidad generada prefiere las herramientas nativas del agente (como la CLI gh o web_fetch) en lugar de reproducir clics de interfaz. Esto hace que la habilidad sea más robusta y generalizable. Por ejemplo, grabar cómo envías un formulario puede enseñar al agente a enviar todos los formularios de ese tipo, porque la habilidad se basa en la intención y los pasos, no en coordenadas de clic pixel-perfectas.

Cómo Funciona

El flujo de trabajo es elegantemente simple:

1. Grabar: Pulsa el botón de grabar (o usa el atajo global ⌘⇧R en macOS / Ctrl+Shift+R en Windows) y realiza tu tarea. El Grabador de Habilidades captura tu pantalla y actividad localmente, en segundo plano. Una pequeña barra siempre visible muestra el estado de captura y micrófono, permitiéndote silenciar/activar el micrófono o cambiar de micrófono sobre la marcha.

2. Analizar: Haz clic en Analizar y GitHub Copilot reconstruye una intención general y una lista ordenada de pasos a partir de la grabación. Puedes revisar y editar el análisis hasta que se lea correctamente.

3. Crear: A partir del análisis aprobado, genera una Habilidad reutilizable (un procedimiento SKILL.md) y/o una Automatización programada (el mismo procedimiento con un disparador).

Este proceso está diseñado para ser iterativo—puedes grabar, analizar, ajustar y regenerar hasta que la habilidad coincida perfectamente con tu intención.

Qué Se Captura

El Grabador de Habilidades es consciente de la privacidad. La grabación, el almacenamiento, la extracción de fotogramas y la transcripción opcional de narración ocurren en tu dispositivo; nada sale de tu computadora mientras grabas. Solo cuando eliges Analizar, la aplicación envía la línea de tiempo de eventos (títulos de ventanas/documentos, URLs, vistas previas del portapapeles), imágenes de pantalla extraídas y texto de narración a la nube de GitHub para que Copilot los procese.

Específicamente, la aplicación rastrea:

• Seguimiento de ventanas: cambios de aplicación activa y ventana.
• URLs del navegador: la página en la que estás (macOS).
• Video de pantalla: grabado por Chromium; se conservan capturas de baja frecuencia solo cuando la pantalla cambia o cuando corresponde un latido.
• Portapapeles: vistas previas cortas de texto copiado que unen los pasos.
• Narración (opcional): comentarios hablados, transcritos en el dispositivo en cualquiera de los 99 idiomas compatibles con Whisper (una descarga única de ~252 MB del modelo en el primer uso).

⚠️ Importante: Mantén los secretos fuera de tus grabaciones. No grabes, escribas, pegues ni narres contraseñas, tokens, claves de API u otra información confidencial. La aplicación te lo recuerda antes de cada grabación.

Instalación

El Grabador de Habilidades se publica como una versión de código fuente. Un comando descarga un tiempo de ejecución de Node.js fijado, compila la confirmación de versión exacta en tu máquina y agrega una aplicación Grabador de Habilidades (Fuente) que puedes relanzar en cualquier momento. No se instala nada globalmente. Necesitarás una cuenta de GitHub con acceso a Copilot; la CLI de Copilot se incluye con la aplicación.

macOS es el objetivo principal, pero Windows 11 (x64 y ARM64) también es compatible.

macOS / Ubuntu

Abre la última versión y copia el comando para tu plataforma. Cada versión fija una confirmación exacta, por lo que el comando real se ve así (reemplaza <confirmación-de-versión-de-40-caracteres> con el hash de confirmación real):

commit="<confirmación-de-versión-de-40-caracteres>"
curl -fsSL "https://raw.githubusercontent.com/microsoft/skill-recorder/$commit/install.sh" | SKILL_RECORDER_COMMIT="$commit" bash

Para mantener la aplicación ejecutándose después de cerrar la terminal, agrega SKILL_RECORDER_DETACHED=1:

commit="<confirmación-de-versión-de-40-caracteres>"
curl -fsSL "https://raw.githubusercontent.com/microsoft/skill-recorder/$commit/install.sh" | SKILL_RECORDER_COMMIT="$commit" SKILL_RECORDER_DETACHED=1 bash

En macOS esto agrega una aplicación Grabador de Habilidades (Fuente) a ~/Applications (relanza desde Spotlight, Launchpad o el Dock). En Ubuntu agrega una entrada de aplicación correspondiente.

Windows (PowerShell)

$commit="<confirmación-de-versión-de-40-caracteres>"
$env:SKILL_RECORDER_COMMIT=$commit
irm "https://raw.githubusercontent.com/microsoft/skill-recorder/$commit/install.ps1" | iex

Esto agrega accesos directos de Grabador de Habilidades (Fuente) a tu escritorio y menú Inicio.

Primeros Pasos

Después de la instalación, inicia la aplicación. En el primer lanzamiento, macOS pedirá permiso de Grabación de Pantalla; concédelo y estarás listo para grabar.

Luego sigue el flujo de trabajo de tres pasos: Grabar, Analizar, Crear. La primera vez que hagas clic en Analizar, el Grabador de Habilidades ofrecerá iniciar sesión en Copilot si aún no has iniciado sesión.

Para instrucciones detalladas sobre inspeccionar el script de instalación, configurar opciones de instalación, actualizar o desinstalar, consulta el archivo INSTALL.md en el repositorio.

Desarrollo desde el Código Fuente

Si quieres modificar el código, necesitarás Node.js 24. Después de revisar una revisión de versión:

npm ci
npm run compliance:licenses
npm run dev

npm run dev inicia Vite y lanza la aplicación Electron con recarga en caliente. El atajo global ⌘⇧R (macOS) / Ctrl+Shift+R (Windows) alterna la grabación desde cualquier lugar.

También hay un conjunto de evaluación para el descriptor y los constructores de Copilot:

npm run eval          # puntúa el descriptor contra grabaciones sintéticas
npm run eval:builder  # puntúa la generalización de habilidades/automatizaciones

Conclusión

El Grabador de Habilidades es una herramienta poderosa que une la demostración humana con la automatización de IA. Al convertir tus grabaciones de pantalla en habilidades estructuradas y reutilizables, hace que los agentes de IA sean mucho más prácticos para tareas cotidianas. Ya seas un desarrollador creando automatizaciones personalizadas o un usuario avanzado buscando optimizar trabajo repetitivo, esta herramienta vale la pena explorarla.

Consulta el repositorio de GitHub para las últimas versiones, documentación y para contribuir. Con 2.4k estrellas y desarrollo activo, es una adición prometedora al ecosistema de agentes de IA.

Fuente

microsoft/skill-recorder: Aplicación de escritorio que graba tu sesión de trabajo en pantalla y usa la CLI de GitHub Copilot para reconstruirla como una intención + pasos ordenados, luego crea una Habilidad o Automatización reutilizable para Microsoft Scout, Microsoft Copilot Cowork o Copilot Studio.