开源 #开源模型 2026-10-17 · 原文发布 10-15

IBM 发布 Granite Switch 4.1 的 8B 与 30B 模型:对话、判断与语音转写共用一个端点,显存占用与基座模型相当

把判断模型做成可组合的适配器,一份显存同时干三件事。

一手来源 Hugging Face 博客(IBM Granite) · huggingface.co 读原文 ↗

// 要点

  • Granite-Switch-4.1-8B 和 -30B 内置通用判断 aLoRA、安全类 Guardian aLoRA,以及 OpenASR 榜单上最快的语音识别模型 Granite-Speech-5.0-Turbo-CTC。
  • 三者与基座模型组合成一个模型,显存占用与基座模型大致相同;适配器可复用基座生成时的 KV 缓存。
  • IBM 称 Guardian aLoRA 在安全类判断任务上平均优于 Jev 1.13、Microsoft-Decision-1、GPT-Luna-Decisions 和 Clef-Flash。
  • 用户可以从 Granite Libraries 挑选适配器组合自己的 Switch 模型,IBM 计划在 Mellea 中发布训练适配器的 SDK。

开发者视角这周判断模型扎堆,Granite 的思路最省钱:不再为每个分类任务单独起一个模型,而是一个基座挂多个适配器。AI 云盘的内容安全审核和文件分类,我会先拿 8B 版本试,看共享 KV 缓存后一次上传触发多个判断的延迟能降多少。

// 来龙去脉 · 来自 #开源模型 专题

看完整时间线 →
  1. 10-17 Reflection 以 Apache 2.0 开放 Beam:501B 总参数、23B 激活的编码与智能体 MoE 模型,上下文 1M
  2. 10-17 Black Forest Labs 开放 FLUX.3 Image Klein:文生图、多参考图编辑和边框布局控制合一,蒸馏版 H100 上约 2 秒出一张 1024 图
  3. 10-16 Meta 开放 Muse Spark Open 权重:816B 总参数、42B 激活的多模态 MoE,上下文 1M