一个 Agent 会打开网页、填表、点击保存，演示已经很像一个熟练同事。可真正使用时，往往卡在演示里没出现的那一刻：页面突然变了，登录过期了，保存之后也没有明确反馈。
Google AI Studio 本周宣布 Gemini API 的 Computer Use 工具正式可用。官方文档介绍了通过截图观察界面、由模型提出动作，再由客户端执行并回传新状态的循环。
这给自动化项目带来更多可能，也说明模型会操作界面，只是整个系统的一部分。
动作完成 不代表任务完成
点击“保存”是一个动作，内容确实保存才是结果。点击“下载”与拿到正确文件，也不是同一状态。若只记录动作执行成功，系统很容易把途中一步当成终点。
在教学项目中，可以选择一个自建表单，先写清目标状态。例如，一条模拟记录被保存后，刷新页面仍能读到相同内容。这样，模型和检查者都知道要观察什么，而不是看到按钮被按下就停止。
同一件事还可能有多个表面相似的成功信号。提示条出现了，但数据写入失败；导出开始了，但文件为空。设计者需要决定哪一项证据足以支持当前结论。
作品集可以展示这段判断。它比一段连续点击的视频更能说明，你是否理解业务结果与界面动作之间的距离。
客户端仍然要承担执行与边界
官方文档明确，应用需要实现接收和执行动作的客户端环境。模型提出下一步操作，并不等于工具会替团队配置好所有运行条件。
需要考虑执行环境能访问哪些页面、使用哪个账号，以及出现需要确认的动作时怎样处理。这些选择会影响系统能做什么，也会影响错误发生后的范围。
一个学生练习可以只接入自己控制的测试站点，使用合成数据与专门账号。先完成观察、执行、再观察的循环，再考虑更多任务。没有必要从真实邮箱、付款或关键业务操作开始展示能力。
面试时，能够画清模型与客户端的职责就很有帮助。哪一层决定动作，哪一层限制动作，哪一层确认结果？把这些关系讲清楚，才能讨论哪里适合增加检查。
页面变化时 最重要的是重新观察
图形界面不是固定不变的画布。窗口大小、弹窗、加载速度和页面内容都可能改变位置。上一步有效的坐标，不一定适合下一步。
因此，自动化流程需要在关键动作后获取新状态，再判断下一步。若连续复用旧画面里的信息，即使每一个动作都成功执行，也可能在错误位置上完成一串看似流畅的操作。
可以给测试站点安排一些可控变化：延迟出现的按钮、插入的一条提示、不同长度的内容。检查 Agent 是否重新识别目标，还是沿着原来的动作序列继续点击。
这类练习不需要追求惊险的“自主通关”。记录一次偏离怎样被发现，以及系统怎样停止或恢复，比让视频看起来没有停顿更有工程价值。
失败要分成可以重试和需要交接的情况
网络短暂中断、账号权限不足和业务要求含糊，虽然都可能表现成“没完成”，但处理方式不同。第一类也许适合有限重试，后两类通常需要补充条件或交还用户。
如果所有失败都无限重试，成本与影响可能不断累积。如果任何异常都立刻停下，系统又很难帮助用户处理普通波动。需要围绕任务安排停止条件，而不是只调整模型的耐心。
例如，模拟任务中的“找不到一条记录”，可能是筛选条件错误，也可能是记录本来不存在。设计者可以要求先检查当前条件，仍无法确定再说明缺口，而非自动创建一条新记录来让流程继续。
这些规则应当能在日志或结果记录中看见。单独在介绍页写“支持异常处理”，无法说明实际发生了什么。
把一个保存动作拆成可验收状态
可以在自建页面里放一个模拟记录表单。任务要求保存一条指定内容，并在重新进入页面后确认。先规定允许修改哪个字段，不允许触碰哪些其他记录，让任务边界具体可见。
为它安排三个变化：按钮延迟出现，保存时返回错误，记录保存成功但提示条没有显示。检查系统会不会因为画面不熟悉而乱点，会不会把失败当成成功，又会不会在已经保存后重复提交。
这些变化分别测试观察、状态判断和恢复，不需要把所有异常混在一次运行中。每次只改变一个条件，更容易理解系统为什么偏离原来的路径。
记录时保留动作前后的状态，而不是只写“重试两次”。后来的人应该能知道两次重试分别依据什么，以及最终证据是否足以确认完成。
若系统需要交还用户，就说明还缺什么信息。一个诚实、可继续处理的中断，比一个没有依据的成功提示更适合交接。这是教学工作流设计，不是对 Gemini 产品作过独立可靠性测评。
什么样的项目适合展示给雇主
一份有用的交付可以包含正常流程、几个有代表性的异常，以及它们各自的结果。每个案例都说明起始状态、目标、实际动作和最终观察。
不要只按点击次数比较不同方案。执行得快但经常需要人工返工，未必优于稍慢却能清楚说明状态的方案。对于不能确认完成的任务，记录“未确认”比猜测成功更有用。
还可以解释为什么选择界面自动化。若已有稳定、授权可用的接口，直接使用接口可能更容易维护；若任务只能通过界面完成，Computer Use 才承担相应价值。选择技术的理由应来自任务，而不是工具刚刚发布。
本周的更新让能力更容易接入，却没有消除系统设计。对求职者而言，真正值得练习的是让任务有明确终点，让异常有合理去处，也让后来的人能看懂一次运行到底做成了什么。
读者常问
模型支持 Computer Use 就不需要写执行逻辑了吗
仍需要应用承担动作执行、环境配置和结果回传。官方文档把客户端环境列为必要部分。具体工作量取决于任务与工具，但不能把模型提出点击动作，理解成整个业务系统已经自动完成。
坐标操作一定比接口差吗
不宜脱离任务作统一判断。已有稳定且授权可用的接口时，接口可能更容易维护；只能通过界面完成的任务，则有相应需求。项目中应解释选择依据，再通过实际运行观察成本与限制。
任务出现新页面 可以沿用前一步坐标吗
应先检查当前状态。页面尺寸、弹窗和内容变化都可能影响位置。动作是否执行成功与目标是否被正确操作需要分别确认。连续复用旧画面的信息，可能让一串看似顺利的步骤偏离任务。
能用真实账号练习吗
先用自己控制的测试环境和合成资料，更容易限制影响并复查结果。若以后接入真实账号，需要确认具体权限和任务范围。练习的价值不取决于碰了多少真实系统，而在于能否解释观察、执行与验证。
- 宣布 Gemini API 的 Computer Use 工具正式可用· X / 原始帖文
- 官方文档· aistudio.google.com
结合目标岗位，梳理已有经历、本人贡献和可核查的项目成果，讨论下一步准备重点。