GitHub Copilot Evals 公开预览:用 /eval 给自己的技能、自定义智能体和 MCP 工具写可重复的测试
改了一个技能或 MCP 工具之后,到底变好还是变坏,现在可以在 Copilot 里直接回归测试。这一条讲它能做什么、用什么引擎、怎么装,适合在给编码智能体加定制的团队。
// 要点
- 在 Copilot 里用自然语言或 /eval 命令,为项目中的技能、自定义智能体或 MCP 工具创建评测;评测会检查结果,也检查智能体完成任务的过程。
- 每次运行前需要用户批准;可以看到哪些检查通过、哪些失败及原因,并对比改动前后两次运行。
- 评测引擎是可扩展的本地评测工具 Vally。
- 可在 VS Code 扩展、Copilot CLI 插件和 Copilot app(添加 github/evals 市场)中安装,面向 Copilot Individual、Business 与 Enterprise 公开预览。
开发者视角这是我最想要的一条。我们给编码智能体写了一堆技能,改了之后基本靠感觉判断效果,模型一换更说不清。我会先给最常用的三个技能各写 5 个评测用例,每次改技能或换模型(比如今天的 GPT-6.2、MAI Code 2)就跑一遍,把结果留档。