Thinking Machines 以 Apache 2.0 开放 Inkling 2 Small:594B 总参数、17B 激活,支持图文输入与 100 万 token 上下文
又一个接近前沿的开放权重 MoE 模型,这一条讲规模、部署门槛和官方评测,适合在挑开放模型做智能体或文档理解的团队。
// 要点
- 48 层稀疏 MoE 解码器,每个 token 路由到 384 个专家中的 8 个;原生多模态,接受文本与图像输入,上下文最长 100 万 token。
- 模型以 NVFP4 精度完成预训练、中期训练与后训练;NVFP4 版至少需要 500 GB 显存(如 2 张 B300 或 4 张 H200),MXFP8 版至少 800 GB。
- 本地推理支持 SGLang、vLLM、TokenSpeed 与 Unsloth;也可经 NVIDIA、Fireworks、Together、Baseten、Nebius、Modal、Cloudflare 等第三方接口调用。
- 官方评测表中,Artificial Analysis 指数 v5.0 为 30.6(GLM-5.3-Flash 27.8、DeepSeek-V4.1-Flash-1017 32.6),BrowseComp 90.2%,OmniDocBench v1.6 94.6%。
开发者视角名字里有 Small,但它不是能放进本地的模型:最低也要两张 B300。我会先走托管接口,在自己的任务上和 DeepSeek V4.1-Flash 比每任务成本;OmniDocBench 的分数让我想拿它试 AI 云盘的扫描件与表格理解,但评测都是官方自报,先用自己的样本复测。