Hugging Face 把 Inference Providers 换成 OpenRouter 的路由:一个 HF token 调用 80 多家服务商托管的开源模型,不加价
Hub 上的开源模型现在由 OpenRouter 按每次请求挑服务商、失败自动换一家重试。这一条讲路由怎么选、怎么保住提示缓存、计费和一个破坏性变更,适合在用开源模型 API 的团队。
// 要点
- Inference Providers 的语言模型请求改走 OpenRouter:按实时价格、速度与可靠性为每次调用挑服务商,首选失败时在同一次调用里换下一家重试;兼容 OpenAI 的 Chat Completions、Responses 与 Anthropic 的 Messages 接口。
- 在模型 id 后加后缀可指定策略或服务商(如 :fastest、:cheapest、:novita);路由感知缓存,在 X-HF-Session-Id 头里为每段对话传一个固定 UUID,可让对话留在持有其提示缓存的服务商。OpenRouter 称新路由让容量错误减少 46%,首 token 时间改善 16.9%,吞吐提升 16.3%。
- 价格不变:按服务商原价记在 Hugging Face 账单上,不加价,PRO 用户每月有 2 美元额度。破坏性变更:语言模型不能再用自己的服务商 API key,图像和视频服务商的自带 key 不受影响。
- 文中引用的数据:开源模型在 OpenRouter 的 token 占比从 2025 年 10 月的 26.8% 升到 2026 年 9 月底的 71.7%;开源模型平均每百万输入 / 输出 token 0.28 / 1.62 美元,闭源为 1.27 / 6.36 美元。
开发者视角我会把 PandaClaws 里对质量不太敏感的批量改写任务挂到 :cheapest 后缀上,跑一周,按单任务成本和返工率跟现在的闭源模型对比。已经在 Inference Providers 上用自己服务商 key 的团队要先处理计费,这次是破坏性变更;多轮对话记得带上会话 id,不然缓存命中会掉。