Microsoft Foundry Managed Compute 正式可用:150 多个开源模型部署到专属 GPU,可选 NVIDIA A100、H100、H200 或 AMD MI300X
自己托管开源模型要管 GPU、容器和推理运行时。这一条讲微软把这些包成托管服务后,你还需要决定什么。
// 要点
- 6 月 Build 大会预览,此次正式可用;预览后扩容了服务能力、改进了提示词复用,并增加 US 与 EU Data Zones 部署选项。
- 在模型目录按「Managed Compute」筛选可找到 150 多个开源模型;部署模板决定上下文长度、推理运行时和 GPU 配置。
- 部署向导显示每小时费用;示例代码在 4 张 MI300X 上部署 DeepSeek V4.1 Flash,并用 OpenAI 兼容的 Chat Completions 调用。
开发者视角按小时租专属 GPU 跑开源模型,适合流量稳定、对数据驻留有要求的场景;流量起伏大的,按 token 的托管接口通常更划算。我会先算清自己的日均 token 量,过了盈亏点再迁,并顺手试一下 MI300X 的模板,多一个 GPU 供应来源本身就是议价筹码。