Hugging Face 为「决策模型」定统一接口:Transformers 加入 DecisionPipeline,llama.cpp 同样支持
分类、路由这类「从固定选项里挑一个」的任务,用生成式模型输出 JSON 既慢又不稳。这一条讲决策模型直接给出每个选项的概率。
// 要点
- 决策模型的接口是「状态 + 问题 + 允许的答案 → 决策 + 概率」,不逐 token 生成,而是给应用已知的答案打分。
- 定义三种基本类型:Choice(多选一的概率分布)、Score(有序量表打分)、Noul(是 / 否的概率)。
- Transformers 新增 DecisionPipeline、AutoModelForDecision 与 DecisionConfig,可用 Trainer 微调;llama.cpp 也能通过同一接口服务 GGUF 决策模型;Hub 新增 decision-model 标签。
- 目标是统一接口而不统一实现:模型可以基于 ModernBERT 这类编码器,也可以基于更大的生成式骨干。
开发者视角我们产品里有不少「这条请求该转给谁」「这份简历属于哪个岗位」的判断,现在多是让大模型吐 JSON 再解析。智能面试的简历初筛和 AI 云盘的文件归类都适合先换成决策模型做一轮对比:看准确率是否持平,再看延迟和单次成本能降多少,概率还能直接拿来设人工复核的阈值。