工具 #智能体 2026-11-12 · 原文发布 11-11

AWS 介绍跨框架智能体评测系统 UAEF:把 LangGraph、Strands、AgentCore 等的轨迹统一格式,用 7 个维度 36 项指标打分

换框架就得重写评测,是很多团队的实际痛点。这一条讲 UAEF 怎么用适配器解决,以及它覆盖哪些维度。

图片来源:AWS 机器学习博客
一手来源 AWS 机器学习博客 · aws.amazon.com 读原文 ↗

// 要点

  • 适配器把 LangGraph、LangChain、Strands Agents 与 Bedrock AgentCore 各自的消息、工具调用和智能体间交接转成一种统一轨迹,后续评测步骤与框架无关。
  • 内置 36 项指标,分 7 个维度:工具调用、回答质量、负责任 AI、性能、多轮对话、多智能体协作与推理;评测工具调用需要在标注里给出期望的调用、顺序和参数。
  • 存储前先筛查邮箱、电话、信用卡号等个人信息,结果作为实验记录写入 DynamoDB 与 S3,用于比较不同版本。
  • AWS 称电信、医疗、金融行业的 12 家机构已用它在发布前比较智能体版本,各框架都附可运行的 notebook。

开发者视角值得抄的是思路而不一定是这套系统:先定一种与框架无关的轨迹格式,评测只认它。我会先给 PandaClaws 的发布智能体写好带期望工具调用顺序的测试集,换模型或改提示词前后各跑一遍,和 11-05 那期 NeMo「把失败变成测试」的做法可以接起来。

// 来龙去脉 · 来自 #智能体 专题

看完整时间线 →
  1. 11-12 Google 推出 Gemini Decisions API:Gemini Decision 1 一次处理最多 1,000 个封闭式问题,每百万输入 token 0.10 美元,输出不计费
  2. 11-12 微软研究院披露 Lazarus:改写不到 10 个休眠神经元、无需训练,就能给基于该模型的智能体植入后门
  3. 11-12 Tether AI Research 发布 0.8B 端侧智能体模型 BotPsy:BFCL v4 从 23.4 提到 44.0,六项工具调用基准中五项超过 2.5 倍大的 Qwen3.5-2B-Think

每周一,一封邮件看完 AI 大事

每周一早上,把过去 7 天最值得关注的 6 件 AI 大事和我的解读发到你邮箱。

邮箱只用于发送周报,不会提供给任何第三方;每封邮件底部都可以一键退订。 看看最近一期 →