Gemini API 推出 Tool Retrieval 预览:工具的参数 schema 按需加载,不再每次请求都塞进整套工具库
工具一多,每次请求都带全部 schema 既费 token 又降低选工具的准确率。这一条讲 Gemini 的服务端方案怎么开、怎么计费,适合工具数量在几十个以上的智能体团队。
// 要点
- 在 Interactions API 中以预览形式提供:请求里加一个 tool_search 工具,并给要延后加载的工具设置 defer_loading 为 true。
- 模型仍能看到所有延后工具的名称和描述,需要时按名称请求,API 在同一次调用里加载完整 schema 再执行函数调用;搜索在服务端完成,不需要自建索引。
- 延后的 schema 不在提示词开头,已加载的 schema 追加在对话后面,因此前缀缓存逐轮保持不变;也可配合远程 MCP 服务器,整台服务器的工具都按需加载。
- 不单独收费:开启后会多出一小段固定输入 token,加载过的 schema 在之后的对话里按输入计费;另有客户端检索模式,每次搜索多一次往返。
开发者视角这是「工具按需加载」第一次成为大厂 API 的标准开关,意味着智能体可以挂上百个工具而不必为此付全额 token。我的建议是:常用的三五个工具保持常驻,长尾工具全部延后,然后拿自己的真实流量对比开关前后的输入 token 和选错工具的次数;PandaClaws 这类接了很多发布渠道的后台,正好是长尾工具最多的场景。