工具 #开源模型 2026-11-17 · 原文发布 11-16

Hugging Face 把 Inference Providers 换成 OpenRouter 的路由:一个 HF token 调用 80 多家服务商托管的开源模型,不加价

Hub 上的开源模型现在由 OpenRouter 按每次请求挑服务商、失败自动换一家重试。这一条讲路由怎么选、怎么保住提示缓存、计费和一个破坏性变更,适合在用开源模型 API 的团队。

图片来源:Hugging Face 博客
一手来源 Hugging Face 博客 · huggingface.co 读原文 ↗

// 要点

  • Inference Providers 的语言模型请求改走 OpenRouter:按实时价格、速度与可靠性为每次调用挑服务商,首选失败时在同一次调用里换下一家重试;兼容 OpenAI 的 Chat Completions、Responses 与 Anthropic 的 Messages 接口。
  • 在模型 id 后加后缀可指定策略或服务商(如 :fastest、:cheapest、:novita);路由感知缓存,在 X-HF-Session-Id 头里为每段对话传一个固定 UUID,可让对话留在持有其提示缓存的服务商。OpenRouter 称新路由让容量错误减少 46%,首 token 时间改善 16.9%,吞吐提升 16.3%。
  • 价格不变:按服务商原价记在 Hugging Face 账单上,不加价,PRO 用户每月有 2 美元额度。破坏性变更:语言模型不能再用自己的服务商 API key,图像和视频服务商的自带 key 不受影响。
  • 文中引用的数据:开源模型在 OpenRouter 的 token 占比从 2025 年 10 月的 26.8% 升到 2026 年 9 月底的 71.7%;开源模型平均每百万输入 / 输出 token 0.28 / 1.62 美元,闭源为 1.27 / 6.36 美元。

开发者视角我会把 PandaClaws 里对质量不太敏感的批量改写任务挂到 :cheapest 后缀上,跑一周,按单任务成本和返工率跟现在的闭源模型对比。已经在 Inference Providers 上用自己服务商 key 的团队要先处理计费,这次是破坏性变更;多轮对话记得带上会话 id,不然缓存命中会掉。

// 来龙去脉 · 来自 #开源模型 专题

看完整时间线 →
  1. 11-17 Amazon Bedrock 上的开源模型支持显式提示缓存,与隐式缓存一起通过 Chat Completions 接口使用
  2. 11-17 NVIDIA 公布 MLPerf Endpoints v1.0 暂定成绩:Vera Rubin NVL72 在智能体推理上每千瓦吞吐是 GB300 NVL72 的 5 到 10 倍
  3. 11-16 tiny-voca 以 Apache 2.0 开放:4.5M 参数的英文 TTS 模型,在 4 个 CPU 线程上约 70 倍实时

每周一,一封邮件看完 AI 大事

每周一早上,把过去 7 天最值得关注的 6 件 AI 大事和我的解读发到你邮箱。

邮箱只用于发送周报,不会提供给任何第三方;每封邮件底部都可以一键退订。 看看最近一期 →