工具 #编码智能体#智能体 2026-11-18 · 原文发布 11-17

GitHub Copilot Evals 公开预览:用 /eval 给自己的技能、自定义智能体和 MCP 工具写可重复的测试

改了一个技能或 MCP 工具之后,到底变好还是变坏,现在可以在 Copilot 里直接回归测试。这一条讲它能做什么、用什么引擎、怎么装,适合在给编码智能体加定制的团队。

图片来源:GitHub Changelog
一手来源 GitHub Changelog · github.blog 读原文 ↗

// 要点

  • 在 Copilot 里用自然语言或 /eval 命令,为项目中的技能、自定义智能体或 MCP 工具创建评测;评测会检查结果,也检查智能体完成任务的过程。
  • 每次运行前需要用户批准;可以看到哪些检查通过、哪些失败及原因,并对比改动前后两次运行。
  • 评测引擎是可扩展的本地评测工具 Vally。
  • 可在 VS Code 扩展、Copilot CLI 插件和 Copilot app(添加 github/evals 市场)中安装,面向 Copilot Individual、Business 与 Enterprise 公开预览。

开发者视角这是我最想要的一条。我们给编码智能体写了一堆技能,改了之后基本靠感觉判断效果,模型一换更说不清。我会先给最常用的三个技能各写 5 个评测用例,每次改技能或换模型(比如今天的 GPT-6.2、MAI Code 2)就跑一遍,把结果留档。

// 来龙去脉 · 来自 #编码智能体 专题

看完整时间线 →
  1. 11-18 OpenAI 发布 GPT-6.2 Astra 与 GPT-6.2 Sol:专业产出、编码、电脑操作和效率都有提升,成本更低
  2. 11-18 微软 Ignite 推出 MAI Code 2 与 Code 2 Flash 编码模型,并开放 MAI Licensed Weights,Agent 365 已管理超过 5,000 万个智能体
  3. 11-18 Copilot 代码审查加入 Adaptive:按每个 PR 的复杂度和风险自动选审查力度,并能在审查里发现泄露的密钥

每周一,一封邮件看完 AI 大事

每周一早上,把过去 7 天最值得关注的 6 件 AI 大事和我的解读发到你邮箱。

邮箱只用于发送周报,不会提供给任何第三方;每封邮件底部都可以一键退订。 看看最近一期 →