微软开源的演示式AI技能制作桌面工具:Skill Recorder

很多AI Agent使用者需要编写SKILL.md技能文件,手动梳理工作流程、撰写步骤文档耗时繁琐。Skill Recorder是微软开源的Electron桌面应用,核心思路是演示一遍真实操作,借助GitHub Copilot把录制的桌面会话转化为AI Agent可复用的技能文档,区别于传统RPA死板的点击回放,它会抽象任务意图,优先调用原生工具而非复刻鼠标点击。本文从项目定位、核心能力、实操流程等方面完整介绍Skill Recorder。

微软开源的演示式AI技能制作桌面工具:Skill Recorder

Skill Recorder是什么?

Skill Recorder是微软发布在GitHub的MIT协议开源桌面工具,基于Electron+TypeScript开发。录制桌面屏幕、窗口切换、网页访问、键鼠交互,还支持同步录入语音旁白;再调用GitHub Copilot分析会话,从一次人工操作中抽象任务目标、有序执行步骤,输出SKILL.md技能文件或者定时自动化任务,供给Scout、Copilot Cowork、Copilot Studio这类AI代理使用。它不是传统宏录制工具,不会死板复刻点击坐标,会尽量将GUI操作转换为CLI、API等原生工具调用,提升生成技能的通用性。

核心功能

Skill Recorder围绕“演示即制作Agent技能”构建整套能力,面向AI开发者、业务流程自动化实践者,降低编写Agent技能的门槛。

  • 桌面全会话录制——捕获屏幕画面、窗口切换、浏览器访问、键鼠交互、剪贴板事件,完整记录一次真实工作流程。
  • 语音旁白录制——操作过程同步录入语音说明,补充任务背景,辅助AI理解操作意图。
  • 全局快捷键启停——Windows快捷键Ctrl+Shift+R,macOS为Command+Shift+R,随时快速开启、结束录制。
  • Copilot智能流程解析——将录制会话交给GitHub Copilot,自动提炼任务目标、输入条件、有序步骤、预期结果。
  • SKILL.md技能输出——生成AI代理可直接读取复用的技能文档,支持按需生成定时触发的Automation自动化配置。
  • 优先原生工具转换——尽量把GUI点击操作转化为gh CLI、web_fetch等原生工具调用,减少对固定UI界面的依赖。
  • 会话审阅编辑——录制解析完成后,人工审阅、修改生成的步骤,修正AI理解偏差再导出成品。
  • 源码优先发布模式——官方推荐源码编译构建,提供提交锁定版本,减少二进制包带来的安全风险。

使用场景

Skill Recorder适配不同使用者的任务场景,角色不同适配度存在差异。

人群/角色场景描述推荐指数
AI Agent开发者为Scout/Copilot Cowork录制业务流程,快速产出SKILL.md技能★★★★★
业务自动化实践者把重复的桌面业务流程,通过演示方式制作AI自动化技能★★★★☆
流程文档整理人员通过操作录制生成SOP草稿,减少手动撰写流程文档工作量★★★★☆
RPA传统自动化需求需要精准复刻每一步鼠标点击、像素级回放界面操作★★☆☆☆
Linux用户使用Linux操作系统,无官方编译包支持★☆☆☆☆

操作指南

新手3分钟完成Skill Recorder部署与基础使用,需要Windows11或macOS系统,同时拥有GitHub Copilot访问权限,具体步骤如下:

  1. 浏览器访问项目仓库:Skill Recorder
  2. 克隆源码到本地,执行npm install安装依赖,运行编译命令构建本地程序;官方优先推荐源码编译方式。
  3. 启动Skill Recorder桌面客户端,完成GitHub Copilot权限登录授权。
  4. 使用全局快捷键,或者界面红色录制按钮开始录制,完整执行一遍目标业务任务,可选开启麦克风录制语音旁白。
  5. 完成任务后停止录制,在会话列表选中本次记录,点击「Analyze」交由Copilot分析录制内容。
  6. 审阅AI生成的任务意图与步骤,手动编辑修正理解错误的地方。
  7. 确认无误后,导出SKILL.md技能文件或者定时Automation配置,供下游AI代理加载使用。
    (注意:分析阶段内容会发送给GitHub Copilot;录制原始素材保存在本地;不适合需要像素级复刻鼠标点击的场景;Linux暂无官方支持。)

支持平台

Skill Recorder仅正式支持 Windows11、macOS(x64 / ARM64) 两大平台,为Electron桌面客户端,没有Web网页版、移动端App、小程序版本。官方没有提供Linux预编译包,也不保障Linux下运行效果。运行必须依赖拥有访问权限的GitHub Copilot,工具内置Copilot CLI,不需要单独安装。

产品定价

Skill Recorder本体为GitHub上免费开源项目,遵循MIT开源协议,源码可自由查阅编译。但解析功能依赖GitHub Copilot服务,Copilot需要单独订阅付费,该成本不属于项目本身。

常见问题

Q:Skill Recorder和传统RPA宏录制是一回事吗?
A:不是。传统RPA大多记录鼠标坐标、像素点击,界面变化脚本就失效。Skill Recorder重点做意图抽象,优先转成CLI、API原生工具调用,产出面向AI Agent的技能文档,而不是回放点击动作。

Q:录制的桌面画面数据会上传吗?
A:原始录制素材保存在本地;当你点击Analyze执行解析时,会话相关素材会提交给GitHub Copilot做分析处理,需要留意隐私信息,录制避免包含敏感密码、密钥。

Q:没有GitHub Copilot账号可以使用Skill Recorder吗?
A:可以完成本地录制,但是核心解析、生成SKILL.md的功能必须依赖GitHub Copilot,无Copilot权限无法完成后续流程。

Q:可以直接下载exe/dmg二进制安装包吗?
A:官方更推荐从锁定版本源码本地编译构建;二进制发布为可选,优先参考仓库RELEASING.md文档说明。

开发者小结

Skill Recorder最大价值是演示式生成AI Agent技能,不用完全手写复杂的SKILL.md,把实际桌面操作转化成代理可执行流程,适合Scout、Copilot Cowork生态下的技能开发。这款工具适合AI Agent开发者、业务自动化人员。它不能当作传统RPA工具,不会稳定复刻像素级界面点击;同时解析依赖Copilot服务,录制含有敏感信息的操作要谨慎。目前仅支持Windows11与macOS,Linux暂无官方支持,AI生成的步骤依旧需要人工审核修正。

© 版权声明

相关文章

开发者导航

暂无评论

您必须登录才能参与评论!
立即登录
暂无评论...
首页 起始 博客
赞助 树洞 我的