开源 #开源模型 2026-11-15 · 原文发布 11-12

Thinking Machines 以 Apache 2.0 开放 Inkling 2 Small:594B 总参数、17B 激活,支持图文输入与 100 万 token 上下文

又一个接近前沿的开放权重 MoE 模型,这一条讲规模、部署门槛和官方评测,适合在挑开放模型做智能体或文档理解的团队。

图片来源:Hugging Face 模型卡(Thinking Machines)
一手来源 Hugging Face 模型卡(Thinking Machines) · huggingface.co 读原文 ↗

// 要点

  • 48 层稀疏 MoE 解码器,每个 token 路由到 384 个专家中的 8 个;原生多模态,接受文本与图像输入,上下文最长 100 万 token。
  • 模型以 NVFP4 精度完成预训练、中期训练与后训练;NVFP4 版至少需要 500 GB 显存(如 2 张 B300 或 4 张 H200),MXFP8 版至少 800 GB。
  • 本地推理支持 SGLang、vLLM、TokenSpeed 与 Unsloth;也可经 NVIDIA、Fireworks、Together、Baseten、Nebius、Modal、Cloudflare 等第三方接口调用。
  • 官方评测表中,Artificial Analysis 指数 v5.0 为 30.6(GLM-5.3-Flash 27.8、DeepSeek-V4.1-Flash-1017 32.6),BrowseComp 90.2%,OmniDocBench v1.6 94.6%。

开发者视角名字里有 Small,但它不是能放进本地的模型:最低也要两张 B300。我会先走托管接口,在自己的任务上和 DeepSeek V4.1-Flash 比每任务成本;OmniDocBench 的分数让我想拿它试 AI 云盘的扫描件与表格理解,但评测都是官方自报,先用自己的样本复测。

// 来龙去脉 · 来自 #开源模型 专题

看完整时间线 →
  1. 11-14 llama.cpp 与 ggml 发布 v1.0.0:今后公开 C API 的破坏性变更都升主版本号
  2. 11-14 NVIDIA 用两台 DGX Station 跑 753B 参数的 GLM-5.3:并发 16 时输出吞吐峰值 607.8 token/s
  3. 11-13 IBM 发布 LLMON 标记语言与 Granite 4.1 3B、8B 预览模型:用保留特殊 token 区分指令与数据,在 OPI 基准上比最好的前沿模型多挡住 47% 的注入攻击

每周一,一封邮件看完 AI 大事

每周一早上,把过去 7 天最值得关注的 6 件 AI 大事和我的解读发到你邮箱。

邮箱只用于发送周报,不会提供给任何第三方;每封邮件底部都可以一键退订。 看看最近一期 →