NVIDIA Nemotron 3.5 Super VL 上架 SageMaker JumpStart:120B 总参数、12B 激活,100 万 token 上下文,NVFP4 版约 75 GB
一个面向文档理解和电脑操作智能体的开放视觉语言模型,现在可以在 AWS 上几步部署。这一条讲它的规格和两种部署变体。
// 要点
- 输入图像、视频与文本、输出文本;语言骨干为 Mamba-2 与 MoE 交错的混合结构(512 个路由专家、每 token 激活 22 个),带 MTP 头支持投机解码,许可证为 OpenMDW 1.1。
- JumpStart 提供两个变体:NVFP4 约 75 GB,默认跑在 ml.g7.24xlarge;BF16 约 249 GB,跑在 ml.p5en.48xlarge。
- AWS 的测试中,BF16 版每请求平均输出 140.85 token/s,三种配置的首 token 时间都在约 0.5 秒。
- NVIDIA 的定位是文档理解、电脑操作智能体的界面理解、视频问答和多模态智能体应用。
开发者视角和 11-08 Kimi K3.1 Pro 上 Bedrock 一样,开放大模型进云目录的速度越来越快。AI 云盘里扫描件、截图类文件的理解,我会拿 NVFP4 版在自己的样本上和现用的闭源模型比一次准确率和单页成本,再决定要不要切一部分流量。