工具 #开源模型 2026-11-22 · 原文发布 11-20

SageMaker JumpStart 上线模型排行榜:70 多个 LLM 在同一评测设置下比质量,并实测首 token 延迟、吞吐和实例成本

挑开源模型最麻烦的是各家分数口径不一。这一条讲这个排行榜统一测了什么,以及怎么按你的部署配置看数。

一手来源 AWS · aws.amazon.com 读原文 ↗

// 要点

  • AWS 用同一评测设置在 BIG-Bench Hard、GPQA Diamond、MMLU-Pro 三项推理基准上评测每个模型,并按每种 JumpStart 部署配置实测首 token 延迟、吞吐和 SageMaker 实例成本。
  • 首发覆盖 70 多个 LLM,来自 Meta、Google、Qwen、IBM、Arcee 等。
  • 可按提供方、许可证、输入输出模态筛选,并选用例画像和优化目标(均衡、成本、延迟或吞吐)查看对应配置的指标。
  • 不额外收费,在所有提供 SageMaker Studio 的 AWS 商业区域可用。

开发者视角把质量分和「这个配置下的延迟与每小时成本」放在一张表上,比单看榜单有用得多。三项基准都是通用推理题,不代表你的业务;我会用它做第一轮筛选,把候选缩到三四个,再拿自己的任务集跑最后一轮,智能面试这类对延迟敏感的场景优先按延迟目标看。

// 来龙去脉 · 来自 #开源模型 专题

看完整时间线 →
  1. 11-22 AWS 发布分布式 KV 缓存智能体技能:在编码智能体里评估并搭建 ElastiCache 共享 KV 层,自托管推理成本最多降 40%、首 token 延迟最多降 80%
  2. 11-22 NVIDIA 把 Dynamo 接进强化学习训练:KV 感知路由和增量权重分发让 H Company 单步训练时间最多缩短 20%、GPU 时最多省 5%
  3. 11-22 NVIDIA 开源 Dynamo 背后的 Rust 工具调用解析器 frontend-crates,用跨模型家族共享的一致性测试集让 AI 智能体给新模型写解析器

每周一,一封邮件看完 AI 大事

每周一早上,把过去 7 天最值得关注的 6 件 AI 大事和我的解读发到你邮箱。

邮箱只用于发送周报,不会提供给任何第三方;每封邮件底部都可以一键退订。 看看最近一期 →