IBM 发布 Granite Switch 4.1 的 8B 与 30B 模型:对话、判断与语音转写共用一个端点,显存占用与基座模型相当
把判断模型做成可组合的适配器,一份显存同时干三件事。
// 要点
- Granite-Switch-4.1-8B 和 -30B 内置通用判断 aLoRA、安全类 Guardian aLoRA,以及 OpenASR 榜单上最快的语音识别模型 Granite-Speech-5.0-Turbo-CTC。
- 三者与基座模型组合成一个模型,显存占用与基座模型大致相同;适配器可复用基座生成时的 KV 缓存。
- IBM 称 Guardian aLoRA 在安全类判断任务上平均优于 Jev 1.13、Microsoft-Decision-1、GPT-Luna-Decisions 和 Clef-Flash。
- 用户可以从 Granite Libraries 挑选适配器组合自己的 Switch 模型,IBM 计划在 Mellea 中发布训练适配器的 SDK。
开发者视角这周判断模型扎堆,Granite 的思路最省钱:不再为每个分类任务单独起一个模型,而是一个基座挂多个适配器。AI 云盘的内容安全审核和文件分类,我会先拿 8B 版本试,看共享 KV 缓存后一次上传触发多个判断的延迟能降多少。