用于用户界面自动化的 Autopilot 录制器

用于用户界面自动化的 Autopilot 录制器是一款 AI 驱动的工具，旨在显着加速和简化基本用户界面自动化序列的脚手架流程。

您可以使用录制器创建用户界面自动化序列，方法是通过自然语言提示生成活动，也可以手动添加活动。

重要提示：

不支持添加条件逻辑循环。录制器只能处理基本用户界面自动化活动的预定义列表。尚不支持提取数据表。

创建所需的序列后，只需选择“保存” 。然后，执行该序列所需的活动会填充在 Studio Web 工作流画布中。

访问录制器

要访问用于用户界面自动化的 Autopilot 录制器，请执行以下步骤：

1. 打开现有 Studio Web 项目或创建一个新项目。

2. 在工作流中，添加“使用浏览器”活动。

3. 在“作用域内的工作”下，从下拉菜单中选择要自动化的选项卡。

4. 从信息屏幕截图框的右上角选择“使用 Autopilot 生成用户界面自动化活动”图标或“生成”按钮。仅当使用浏览器活动中没有活动时，生成按钮才可见。

   

5. 录制器现已打开。

   

备注：

如果您使用 Autopilot 从头开始创建项目，并且工作流需要用户界面自动化序列，则在您在“使用浏览器”活动中选择生成后，与用户界面自动化序列相关的部分文本提示会预加载到录制器中。因此，当您在此上下文中访问“录制器”时，它将直接生成活动。

通过文本提示生成活动

要在录制器中通过文本提示生成活动，请执行以下步骤：

1. 选择加号按钮。

   

2. 继续执行步骤 a 或 b。 无论选择如何，结果都是相同的。

   1. 从列表中选择“使用 Autopilot 生成”选项。这将创建占位符活动卡。
   2. 在“描述此页面上的操作” 文本字段中写入文本提示，然后按Enter键或选择箭头符号。精确描述了手头任务的提示是最有效的。这可能包括“创建新的供应商”或“创建 12 月 25 日到 30 日之间的请假请求”等说明，而不是“单击‘新建’按钮”等通用说明。

   3. 在搜索框中写入文本提示，然后按Enter键或选择“使用 Autopilot 生成”选项。

   

3. 现在系统会根据提示生成活动。 录制器仅使用以下用户界面自动化活动来生成序列：

   • 单击
   • 键入
   • 获取文本
   • 选择项目
   • 选中/取消选中

4. 系统会将生成的活动填充到录制器中。要转换到下一个应用程序状态，请选择“测试”按钮。“测试”按钮是默认配置的一键式执行尝试，其唯一目的是帮助您转换到下一个应用程序状态，以便继续构建自动化。

   

5. 您已过渡到下一个申请状态。已执行的活动带有绿色复选标记。如果由于某种原因“测试”默认配置的“最大努力”执行尝试失败，您仍然可以自由与应用程序交互，以手动执行必要的步骤。如果提示词未完全涵盖，请选择“继续‘提示词’”按钮。

   

6. 录制器中已添加新活动。要转换到下一个应用程序状态，请选择“测试”按钮。

   

7. 您已过渡到下一个申请状态。您可以轮流使用“在提示词下继续”和“测试” ，直到达到所需的应用程序状态并且覆盖整个提示词。

   

手动添加活动

要在录制器中手动添加活动，请执行以下步骤：

1. 选择加号按钮。
2. 从列表中选择以下用户界面自动化活动之一:
   • 单击
   • 键入
   • 获取文本
   • 选择项目
   • 选中/取消选中
   • 悬停
   • 键盘快捷方式
   • 截取屏幕截图
   • 获取属性
   • 鼠标滚动
   • 检查元素
3. 通过选择屏幕上的用户界面元素来指定目标。
4. 通过选择附近有助于唯一标识目标的用户界面元素来指明锚点。
5. 选择“确认”。
6. 该活动现已添加到录制器中。

可以在用户界面中执行的操作

如下表中详述，探索用户界面中的可用选项。

选项	描述
生成按钮	打开录制器。您还可以从信息屏幕截图框的右上角选择“使用 Autopilot 生成用户界面自动化活动”图标。
加号按钮	打开搜索栏和下拉活动列表。
活动卡	您可以执行以下操作： 通过拖放来重新排列录制器中的活动。 双击活动卡，访问选择屏幕。 只需选择活动卡，即可查看不同活动的目标和锚点，而无需访问选择屏幕。 这将触发目标和锚点的五秒高亮显示预览。
活动卡汉堡菜单	这包含以下选项： “属性” - 打开选择屏幕，您可以在其中指定目标和锚点。 重命名- 用于重命名活动。最多可以使用 100 个字符。 “删除” - 从记录器中删除活动卡。
“测试”按钮	执行所有生成的活动。 这是默认的配置执行，旨在帮助您从应用程序的一种状态转换到另一种状态。 注意： “测试”按钮在 Safari 中不可用。
“继续”“提示词”按钮	在录制器中生成新活动以覆盖整个提示。
Delete 键值	删除选定的活动卡。 高级用户键盘快捷方式；不显示确认提示。
使用 Autopilot 回收站按钮生成	删除“使用 Autopilot 生成”占位符活动卡。
Esc 键值	返回到 Studio Web 画布。 如果您在“录制器”中进行了更改，则会弹出一个窗口，其中包含“保存选择帮助程序中所做的更改？”消息。您可以选择： 取消- 带您返回到保存更改的录制器。 “不保存” - 带您返回到 Studio Web 画布，而不保存任何更改。 保存- 保存更改，并且系统将在 Studio Web 画布中填充用户界面自动化序列。 如果“属性”面板已打开，则按Esc可返回到“录制器”的“活动”视图。
取消按钮	返回到 Studio Web 画布，而不保存任何更改。
“保存”按钮	保存工作流序列并填充 Studio Web 画布中的活动。
帮助 (F1)图标	打开文档页面。

控制 Autopilot 功能

默认情况下为所有用户启用 Autopilot。

您可以通过两种方式通过 Automation Ops 监管策略禁用 Autopilot 功能：

• 添加Studio Web策略并将“允许 Autopilot”选项设置为“否” 。
• 通过添加AI Trust Layer策略并禁用“启用通过 AI Trust Layer 调用第三方 AI 模型”切换按钮。

禁用这两个选项中的任何一个后，您仍然可以使用 Autopilot 录制器进行用户界面自动化，但无法通过文本提示生成活动，您只能在录制器中手动添加活动。