Gemini API 的 Computer Use 工具正式可用:Interactions 与 GenerateContent 两套接口都支持,推荐模型为 Gemini 3.8 Flash
让模型看屏幕、发出点击和输入动作的工具从预览转为正式可用,想做浏览器或手机端操作型智能体的团队可以按正式产品来评估了。
// 要点
- 10 月 30 日的更新日志写明:Computer Use 工具在 Interactions API 和 GenerateContent API 上正式可用(GA)。
- 文档列出的支持模型有 Gemini 4 Argon、Gemini 3.8 Flash(推荐)、Gemini 3.5 Flash-Lite(低延迟、低成本)和 Gemini 3 Flash Preview;环境覆盖浏览器、移动端与桌面。
- 模型返回点击、输入、滚动等界面动作并附 intent 说明,由你的客户端执行、截图回传,坐标统一归一化到 0–999。
- 内置 7 类需确认或拦截的安全策略(如金融交易、发送通信、创建账号、接受法律协议),响应里带 safety_decision;截图提示注入检测需手动开启,默认关闭。
开发者视角GA 意味着可以谈稳定性和 SLA 了,但执行层还是你自己的:先在沙箱容器里用 Playwright 跑通一个固定流程,再决定要不要接进产品。我会第一时间把默认关闭的提示注入检测打开,并且不要轻易用 disabled_safety_policies 关掉确认类策略,这和上周各家「智能体动手、边界写死」的思路是一致的。