SageMaker JumpStart 上线模型排行榜:70 多个 LLM 在同一评测设置下比质量,并实测首 token 延迟、吞吐和实例成本
挑开源模型最麻烦的是各家分数口径不一。这一条讲这个排行榜统一测了什么,以及怎么按你的部署配置看数。
// 要点
- AWS 用同一评测设置在 BIG-Bench Hard、GPQA Diamond、MMLU-Pro 三项推理基准上评测每个模型,并按每种 JumpStart 部署配置实测首 token 延迟、吞吐和 SageMaker 实例成本。
- 首发覆盖 70 多个 LLM,来自 Meta、Google、Qwen、IBM、Arcee 等。
- 可按提供方、许可证、输入输出模态筛选,并选用例画像和优化目标(均衡、成本、延迟或吞吐)查看对应配置的指标。
- 不额外收费,在所有提供 SageMaker Studio 的 AWS 商业区域可用。
开发者视角把质量分和「这个配置下的延迟与每小时成本」放在一张表上,比单看榜单有用得多。三项基准都是通用推理题,不代表你的业务;我会用它做第一轮筛选,把候选缩到三四个,再拿自己的任务集跑最后一轮,智能面试这类对延迟敏感的场景优先按延迟目标看。