Thinking Machines 发布 Inkling 2 Mini:约 26B 总参数、每 token 3B 激活的循环 MoE,支持 1M 上下文和图像输入
Inkling 2 Small 的本地版。这一条讲它用循环层「借」容量的做法、和同级模型比的成绩,以及首日能在哪些推理框架里跑。
// 要点
- 24 个物理解码层中,中间 12 层循环 3 次,相当于 48 层逻辑层;每层从 128 个专家中选 8 个(Small 为 384 个),带 DSpark 草稿模型用于加速。
- 与 Gemma 4 31B、Qwen3.8-27B、Nemotron 3.5 Super VL 等相比,在 48 项基准中领先 32 项;FrontierCode v2.0 领先,Terminal-Bench 4.0 与 Qwen3.8-27B 持平。
- 首日支持 Transformers、llama.cpp(Llama App)与 MLX,SGLang 提供数据中心部署支持;专家权重以 NVFP4 与 MXFP8 混合精度发布。
- 另发布一个研究版,可把循环次数设为 1 或 2 以换取更快推理,但官方称尚未深入评估。
开发者视角3B 激活、1M 上下文、带图像输入,正好是「本地或单卡跑」的甜点区,也是 Qwen3.8-27B 第一个像样的对手。AI 云盘里文档理解这类长上下文任务,我会拿 Inkling 2 Mini 和 Qwen3.8-27B 在同一批文件上对比,循环次数可调这点值得单独测一下速度和质量的折中。