Dharma AI 按 token 成本重做微调后 Qwen3-4B 的词表，线上作文评分模型的实测推理成本降低 77%
分词表通常被当成基座模型的固定属性，这篇说明它可能是专用小模型最大的成本杠杆。这一条讲省在哪、踩过什么坑。
// 要点
- 这个葡萄牙语作文评分模型基于 Qwen3-4B，每生成一个 token 都要在 151,669 个词条上打分；VocabX 在基座模型、数据、训练配方都不变的前提下重建了词表。
- 在 RTX 5090 与 vLLM 上用同样 500 个请求实测：平均回复从 350 个 token 降到 101 个，成本降低 77.0%，评测分从 0.703 升到 0.810。
- 第一版把每项评分和周围 JSON 合成一个宏 token，成本降 73.3%，但评测分跌到 0.689；让分数单独占一个 token，每条回复多 2 个 token，质量和成本反而都更好。
- 数字来自仍在审稿的论文，发表前可能变化。
开发者视角智能面试的评分报告也是格式固定的 JSON，场景几乎一样，但这招只对自托管的微调小模型有意义，调用 API 的改不了词表。更值得带走的是那个教训：压缩可以，别把承载决策的那个值和格式绑进同一个 token，否则省下的是成本、丢掉的是准确率。