AIBit-探索开源项目 AIBit-探索开源项目

将屏幕录制转化为可复用的AI技能：微软的Skill Recorder

微软的Skill Recorder捕捉您的屏幕活动，并使用GitHub Copilot CLI将其转化为可复用的技能或自动化操作，供AI代理使用。了解其工作原理及安装方法。

微软发布了一款名为Skill Recorder的开源桌面应用，它可以录制您的屏幕工作会话，并使用GitHub Copilot CLI将其重构为一个意图及有序步骤，然后为Microsoft Scout、Microsoft Copilot Cowork或Copilot Studio构建可复用的技能或自动化操作。对于希望无需编写一行代码就能教会AI代理执行重复性任务的开发者和高级用户来说，这堪称改变游戏规则的工具。

为什么Skill Recorder很重要

AI代理的价值取决于其拥有的技能。传统上，为Microsoft Copilot这样的代理创建技能需要手动编写包含详细说明的SKILL.md文件，这既耗时又容易出错。Skill Recorder颠覆了这一过程：您只需在屏幕上执行一次任务，应用就会捕捉所有操作——点击、窗口切换、URL，甚至您的语音旁白——然后使用Copilot分析录制内容并生成结构化流程。这意味着您可以教会代理执行您在计算机上能做的任何事情，从填写表单到导航复杂的工作流程。

关键洞察在于，生成的技能更倾向于使用代理的原生工具（如gh CLI或web_fetch），而不是重放UI点击。这使得技能更加健壮和通用。例如，录制一次提交表单的过程，可以教会代理提交所有该类型的表单，因为技能基于意图和步骤，而非像素级的点击坐标。

工作原理

工作流程简单而优雅：

  1. 录制：点击录制按钮（或使用全局快捷键macOS上的⌘⇧R / Windows上的Ctrl+Shift+R）并执行您的任务。Skill Recorder在后台本地捕捉您的屏幕和活动。一个始终置顶的小工具条显示捕捉和麦克风状态，允许您随时静音/取消静音或切换麦克风。

  2. 分析：点击分析，GitHub Copilot会根据录制内容重构出一个总体意图和有序步骤列表。您可以查看并编辑分析结果，直到其准确无误。

  3. 创建：根据批准的分析结果，生成可复用的技能（SKILL.md流程）和/或计划自动化（相同流程加上触发器）。

这个过程设计为迭代式的——您可以录制、分析、调整并重新生成，直到技能完全符合您的意图。

捕捉的内容

Skill Recorder注重隐私。录制、存储、帧提取和可选的旁白转录都在您的设备上进行；录制期间不会有任何数据离开您的计算机。只有当您选择分析时，应用才会将事件时间线（窗口/文档标题、URL、剪贴板预览）、提取的屏幕图像和旁白文本发送到GitHub云端供Copilot处理。

具体来说，应用会跟踪：

  • 窗口跟踪：活动应用和窗口切换。
  • 浏览器URL：您所在的页面（macOS）。
  • 屏幕视频：由Chromium录制；仅在屏幕变化或心跳到期时保留低帧率快照。
  • 剪贴板：复制的文本的简短预览，用于连接步骤。
  • 旁白（可选）：语音评论，在设备上使用Whisper支持的99种语言之一进行转录（首次使用时会下载约252 MB的模型，仅一次）。

⚠️ 重要：请勿在录制中包含机密信息。不要录制、输入、粘贴或口述密码、令牌、API密钥或其他机密信息。应用在每次录制前都会提醒您。

安装

Skill Recorder以源代码发布的形式提供。一条命令即可下载固定的Node.js运行时，在您的机器上构建确切的发布提交，并添加一个**Skill Recorder（源代码）**应用，您可以随时重新启动。不会全局安装任何内容。您需要一个具有Copilot访问权限的GitHub账户；Copilot CLI随应用一起提供。

macOS是主要目标平台，但也支持Windows 11（x64和ARM64）。

macOS / Ubuntu

打开最新版本并复制适用于您平台的命令。每个版本都固定一个确切的提交，因此实际命令如下（将<40-character-release-commit>替换为实际的提交哈希）：

commit="<40-character-release-commit>"
curl -fsSL "https://raw.githubusercontent.com/microsoft/skill-recorder/$commit/install.sh" | SKILL_RECORDER_COMMIT="$commit" bash

要在终端关闭后保持应用运行，请添加SKILL_RECORDER_DETACHED=1：

commit="<40-character-release-commit>"
curl -fsSL "https://raw.githubusercontent.com/microsoft/skill-recorder/$commit/install.sh" | SKILL_RECORDER_COMMIT="$commit" SKILL_RECORDER_DETACHED=1 bash

在macOS上，这会在~/Applications中添加一个**Skill Recorder（源代码）**应用（可从Spotlight、Launchpad或Dock重新启动）。在Ubuntu上，它会添加相应的应用程序条目。

Windows（PowerShell）

$commit="<40-character-release-commit>"
$env:SKILL_RECORDER_COMMIT=$commit
irm "https://raw.githubusercontent.com/microsoft/skill-recorder/$commit/install.ps1" | iex

这会在您的桌面和开始菜单中添加**Skill Recorder（源代码）**快捷方式。

第一步

安装后，启动应用。首次启动时，macOS会请求屏幕录制权限；授予权限后即可开始录制。

然后按照三步工作流程：录制、分析、创建。首次点击分析时，如果您尚未登录，Skill Recorder会提示您登录Copilot。

有关检查安装脚本、设置安装选项、更新或卸载的详细说明，请参阅仓库中的INSTALL.md文件。

从源代码开发

如果您想修改代码，需要Node.js 24。检出发布修订版后：

npm ci
npm run compliance:licenses
npm run dev

npm run dev启动Vite并启动带有热重载的Electron应用。全局快捷键⌘⇧R（macOS）/ Ctrl+Shift+R（Windows）可从任何位置切换录制。

还有一个用于Copilot描述器和构建器的评估套件：

npm run eval          # 对合成录制内容评估描述器
npm run eval:builder  # 评估技能/自动化泛化能力

结论

Skill Recorder是一款强大的工具，弥合了人类演示与AI自动化之间的鸿沟。通过将屏幕录制转化为结构化、可复用的技能，它使AI代理在日常任务中更加实用。无论您是构建自定义自动化的开发者，还是希望简化重复性工作的高级用户，这款工具都值得探索。

查看GitHub仓库获取最新版本、文档并参与贡献。凭借2.4k星标和活跃的开发，它是AI代理生态系统中一个有前景的新成员。

来源

microsoft/skill-recorder: 桌面应用，记录您的屏幕工作会话，并使用GitHub Copilot CLI将其重构为意图+有序步骤，然后为Microsoft Scout、Microsoft Copilot Cowork或Copilot Studio构建可复用的技能或自动化。