开源 #开源模型 2026-11-11 · 原文发布 11-10

Hugging Face 为「决策模型」定统一接口:Transformers 加入 DecisionPipeline,llama.cpp 同样支持

分类、路由这类「从固定选项里挑一个」的任务,用生成式模型输出 JSON 既慢又不稳。这一条讲决策模型直接给出每个选项的概率。

图片来源:Hugging Face 博客
一手来源 Hugging Face 博客 · huggingface.co 读原文 ↗

// 要点

  • 决策模型的接口是「状态 + 问题 + 允许的答案 → 决策 + 概率」,不逐 token 生成,而是给应用已知的答案打分。
  • 定义三种基本类型:Choice(多选一的概率分布)、Score(有序量表打分)、Noul(是 / 否的概率)。
  • Transformers 新增 DecisionPipeline、AutoModelForDecision 与 DecisionConfig,可用 Trainer 微调;llama.cpp 也能通过同一接口服务 GGUF 决策模型;Hub 新增 decision-model 标签。
  • 目标是统一接口而不统一实现:模型可以基于 ModernBERT 这类编码器,也可以基于更大的生成式骨干。

开发者视角我们产品里有不少「这条请求该转给谁」「这份简历属于哪个岗位」的判断,现在多是让大模型吐 JSON 再解析。智能面试的简历初筛和 AI 云盘的文件归类都适合先换成决策模型做一轮对比:看准确率是否持平,再看延迟和单次成本能降多少,概率还能直接拿来设人工复核的阈值。

// 来龙去脉 · 来自 #开源模型 专题

看完整时间线 →
  1. 11-11 NVIDIA 开源 Snapshot:从 GPU 内存快照恢复推理副本只要 3.6 到 42.7 秒,比冷启动快 8 到 36 倍
  2. 11-10 NVIDIA Nemotron 3.5 Super VL 上架 SageMaker JumpStart:120B 总参数、12B 激活,100 万 token 上下文,NVFP4 版约 75 GB
  3. 11-10 Amazon 提出 HOPE 专家剪枝:考虑专家两两协作,剪掉 50% 专家时平均排名 1.58,领先次优方法 REAP 的 2.42

每周一,一封邮件看完 AI 大事

每周一早上,把过去 7 天最值得关注的 6 件 AI 大事和我的解读发到你邮箱。

邮箱只用于发送周报,不会提供给任何第三方;每封邮件底部都可以一键退订。 看看最近一期 →