WaytoAGI用户4242
谷歌发布 Gemini 2.5 Computer Use模型：让 AI 像人一样直接操作浏览器
输入“/”快速插入内容
谷歌发布 Gemini 2.5 Computer Use模型：让 AI 像人一样直接操作浏览器
谷歌发布 Gemini 2.5 Computer Use模型：让 AI 像人一样直接操作浏览器
用户4242用户42422025年10月8日修改
Gemini 2.5 Computer Use 模型
Gemini 2.5 Computer Use 模型是谷歌基于 Gemini 2.5 Pro 的视觉理解和推理功能构建的新专业模型，核心突破在于实现 AI 与图形用户界面（GUI）的直接交互。作为谷歌 AI 生态核心架构的重要组件，它在多个网页和移动控制基准测试中表现优于领先替代方案，且延迟更低。该模型目前已开放 Google AI Studio 和 Vertex AI 平台调用权限。
虽然 AI 模型可以通过结构化 API 与软件交互，但许多数字任务仍需直接与图形用户界面交互，例如填写和提交表单。为完成这些任务，Agent必须像人类一样导航网页和应用程序：点击、输入和滚动，能够原生填写表单、操作下拉菜单和过滤器等交互元素，以及处理登录操作，是构建强大通用Agent的关键下一步。
工作流程？
该模型的核心功能通过 Gemini API 中新的“computer_use”工具公开，并且应该在循环中运行。
整个过程分为四步执行：
1.
发起请求：该工具的输入是用户请求、环境屏幕截图和最近的历史记录。输入还可以指定是从 受支持的 UI作的完整列表中排除函数，还是指定要包含的其他自定义函数。
2.
响应生成：模型结合界面语义解析与任务意图拆解，生成包含function_call的操作指令，付款、文件删除等高风险行为会触发二次确认机制；
3.
操作执行：客户端基于网格坐标系统解析指令，在浏览器环境中执行点击、输入等动作，可自动适配主流分辨率；
4.
状态反馈：实时捕获操作后的界面截图与 URL 变化，回传模型启动下一轮循环，借助 "思考预算" 功能可精准控制推理步数与延迟成本。
以下是来自官方的一些演示，可以了解模型的实际效果（此处以 3 倍速显示）。
提示词： “From https://tinyurl.com/pet-care-signup, get all details for any pet with a California residency and add them as a guest in my spa CRM at https://pet-luxe-spa.web.app/. Then, set up a follow up visit appointment with the specialist Anima Lavar for October 10th anytime after 8am. The reason for the visit is the same as their requested treatment.”
提示词：“My art club brainstormed tasks ahead of our fair. The board is chaotic and I need your help organizing the tasks into some categories I created. Go to sticky-note-jam.web.app and ensure notes are clearly in the right sections. Drag them there if not.”
表现如何？