AWS 演示用 llama.cpp 在 SageMaker 上部署决策模型：量化 4B 模型在 231 道 JevBench 任务上准确率 77.9%，GPU 上 p50 为 0.352 秒
给「在固定选项里打分、不生成文本」的小模型提供一条托管部署路径，并给出 CPU 与 GPU 的对比数据。
// 要点
- AWS 的 llama.cpp 深度学习容器提供 OpenAI 兼容的对话接口；另建一个子镜像接入 SemIf，不解码答案 token，直接返回各声明选项的概率。
- Qwen3.5-4B Q4_K_M 在 ml.c6i.8xlarge（CPU）上准确率 77.5%，p50 1.715 秒、p95 19.291 秒；在 ml.g6e.xlarge（GPU）上 77.9%，p50 0.352 秒、p95 0.599 秒。
- GPU 端点 p50 快 4.9 倍、p95 快 32.2 倍；2B 和 0.8B 模型准确率只有 66.7% 和 58.4%，示例因此默认用 4B。
- AWS 建议把权限判断和确定性业务规则留在模型之外，概率要先校验，才能当作置信度用。
开发者视角继 Liquid 的 d1、Cloudflare 的 Clef、Amazon 的 Strands decider 之后，这篇是部署说明书。智能面试里把候选人回答归到固定类别、AI 云盘里给上传文件分类，这类固定选项的活用一张小 GPU、p95 不到 0.6 秒，成本低到可以现在就试。CPU 只留给离线批处理：p95 要 19 秒，交互场景用不了。