Gemini 2.5 Computer Use 详细解读
**Gemini 2.5 Computer Use 于 2025 年 10 月 7 日进入 Preview。**它面向“看懂界面并执行动作”的 Agent 场景：模型接收网页截图、任务和历史动作，返回点击、输入、滚动等操作，再由宿主执行并把新界面交回模型，形成感知—行动循环。
工作原理
Computer Use 模型本身不应该直接获得整台电脑的无限权限。合理架构是：沙箱浏览器负责展示页面；模型提出结构化动作；策略层检查动作是否允许；执行器完成操作；系统截取新状态并继续。登录、付款、删除、发消息等高影响动作应暂停并要求用户确认。
它擅长传统 API 不存在、页面结构不断变化或需要视觉判断的任务，例如填写测试表单、验证网页流程、在后台系统搬运非敏感数据、执行重复的浏览器 QA。若网站有稳定 API，应优先使用 API：更快、更便宜，也更容易审计。
关键工程设计
- 将可访问域名、可点击区域和动作类型列入 allowlist；
- 对密码、Cookie、API Key 和个人信息做遮罩；
- 为动作数、运行时间和重试次数设置硬上限；
- 在每次页面变化后重新观察，禁止盲目连续点击；
- 保存截图、动作、策略判断和确认记录用于审计；
- 把外部网页内容视为不可信输入，防范提示注入。
网页中的文字可能诱导 Agent“忽略规则”或要求上传文件，这些内容没有授权能力。系统提示词不能单独解决提示注入，必须由模型外的策略层阻止越权动作。
适用场景
推荐用于受控环境中的端到端网页测试、内部低风险操作、跨站信息收集和人工可随时接管的流程。对于资金转账、医疗系统、生产基础设施、账号安全设置和不可逆删除，不应全自动运行。
评测方法
不要只统计“最终完成”。还要记录平均动作数、错误动作率、人工接管率、越权拦截率、页面变化后的恢复能力，以及任务完成前是否触发了不必要的敏感操作。真实网站会出现弹窗、A/B 测试、延迟和布局变化，静态 benchmark 不能覆盖全部风险。
与通用 Gemini 的关系
通用 Pro/Flash 可以规划任务或调用定义明确的函数；Computer Use 专门处理视觉界面和鼠标键盘动作。常见组合是由 Pro 做高层规划，Computer Use 执行有限网页步骤，确定性代码负责校验结果。