用于用户界面自动化的 Autopilot 录制器

用于用户界面自动化的 Autopilot 录制器是一款 AI 驱动的工具，旨在显着加速和简化基本用户界面自动化序列的脚手架流程。

您可以使用录制器创建用户界面自动化序列，方法是通过自然语言提示生成活动，也可以手动添加活动。

重要提示：

不支持添加条件逻辑循环。 录制器只能处理基本用户界面自动化活动的预定义列表。

尚不支持提取数据表。

创建所需的序列后，只需选择“保存” 。 然后，执行该序列所需的活动将填充在 Studio Web 工作流画布中。

访问录制器

要访问用于用户界面自动化的 Autopilot 录制器，请执行以下步骤：

1. 打开现有 Studio Web 项目或创建一个新项目。
2. 在工作流中，添加“使用浏览器”活动。
3. 在“在作用域内工作”下，从下拉菜单中选择要自动化的选项卡。
4. 选择信息屏幕截图框右上角的“使用 Autopilot 生成用户界面自动化活动”图标，或选择“生成”按钮。 仅当 使用浏览器 活动中没有任何活动时， 生成 按钮才可见。
   
   
   
   
5. 录制器现已打开。
   
   
   
   

注意： 如果您 使用 Autopilot 从头开始创建项目， 并且工作流需要用户界面自动化序列，则在“ 使用浏览器 ”活动中选择“ 生成 ”后，与用户界面自动化序列相关的部分文本提示会预加载到录制器中。因此，当您在此上下文中访问“录制器”时，它将直接生成活动。

通过文本提示生成活动

要在录制器中通过文本提示生成活动，请执行以下步骤：

1. 选择加号按钮。
   
   
   
   

2. 继续执行步骤 a 或 b。 无论选择如何，结果都是相同的。

   1. 1. 从列表中选择“使用 Autopilot 生成”选项。 这将创建占位符活动卡。
      2. 在“描述此页面上的操作”文本字段中写入文本提示，然后按Enter键或选择箭头符号。 如果提示准确描述了手头的任务，则提示是最有效的。 这可能包括“创建新的供应商”或“创建 12 月 25 日至 30 日之间的休息请求”等说明，而不是“单击‘新建’按钮”等通用说明。
         
         
         
         
   2. 在搜索框中写入文本提示，然后按Enter键或选择“使用 Autopilot 生成”选项。
      
      
      
      
3. 现在系统会根据提示生成活动。 录制器仅使用以下用户界面自动化活动来生成序列：
   • 单击
   • 键入
   • 获取文本
   • 选择项目
   • 选中/取消选中
4. 生成的活动填充在记录器中。 要转换到下一个应用程序状态，请选择“测试” 按钮。 “测试”按钮是一键式默认配置执行尝试，其唯一目的是帮助您转换到下一个应用程序状态，以便继续构建自动化。
   
   
   
   
5. 您已转换到下一个应用程序状态。 已执行的活动带有绿色复选标记。 如果由于某种原因，“测试”默认配置的“尽力而为”执行尝试失败，您仍然可以自由地与应用程序交互，以手动执行必要的步骤。 如果提示未完整显示，请选择“继续”“提示”按钮。
   
   
   
   
6. 一个新活动已添加到录制器中。 要转换到下一个应用程序状态，请选择“测试” 按钮。
   
   
   
   
7. 您已转换到下一个应用程序状态。 您可以交替使用“继续”“提示”和“测试”，直到达到所需的应用程序状态并覆盖整个提示。
   
   
   
   

手动添加活动

要在录制器中手动添加活动，请执行以下步骤：

1. 选择加号按钮。
2. 从列表中选择以下用户界面自动化活动之一:
   • 单击
   • 键入
   • 获取文本
   • 选择项目
   • 选中/取消选中
   • 悬停
   • 键盘快捷方式
   • 截取屏幕截图
   • 获取属性
   • 鼠标滚动
   • 检查元素
3. 通过选择屏幕上的用户界面元素来指定目标。
4. 通过选择附近有助于唯一标识目标的用户界面元素来指明锚点。
5. 选择“确认”。
6. 该活动现已添加到录制器中。

可以在用户界面中执行的操作

如下表中详述，探索用户界面中的可用选项。

选项	描述
“生成”按钮	打开“录制器”。 您还可以从信息屏幕截图框的右上角选择“使用 Autopilot 生成用户界面自动化活动”图标。
加号按钮	打开搜索栏和下拉活动列表。
活动卡	您可以执行以下操作： 通过拖放来重新排列录制器中的活动。 双击活动卡，访问选择屏幕。 只需选择活动卡，即可查看不同活动的目标和锚点，而无需访问选择屏幕。 这将触发目标和锚点的五秒高亮显示预览。
活动卡汉堡菜单	这包含以下选项： “属性” - 打开选择屏幕，您可以在其中指定目标和锚点。 “重命名” - 用于重命名活动。 最多可以使用 100 个字符。 删除- 从记录器中删除活动卡。
“测试”按钮	执行所有生成的活动。 这是默认的配置执行，旨在帮助您从应用程序的一种状态转换到另一种状态。 注意： “测试”按钮在 Safari 中不可用。
“继续”“提示”按钮	在录制器中生成新活动以覆盖整个提示。
Delete 键值	删除选定的活动卡。 高级用户键盘快捷方式；不显示确认提示。
使用 Autopilot 回收站按钮生成	删除“使用 Autopilot 生成”占位符活动卡。
Esc 键值	返回到 Studio Web 画布。 如果您在“录制器”中进行了更改，则会弹出一个窗口，其中显示“是否保存在选择帮助器中所做的更改？” 消息。 您可以选择： 取消- 带您返回到保存更改的录制器。 “不保存” - 带您返回到 Studio Web 画布，而不保存任何更改。 保存- 保存更改，Studio Web 画布中将填充用户界面自动化序列。 如果“属性”面板已打开，则按Esc可返回到“录制器”的“活动”视图。
“取消”按钮	返回到 Studio Web 画布，而不保存任何更改。
“保存”按钮	保存工作流序列并填充 Studio Web 画布中的活动。
帮助 (F1)图标	打开文档页面。

控制 Autopilot 功能

默认情况下为所有用户启用 Autopilot。

您可以通过两种方式通过 Automation Ops 监管策略禁用 Autopilot 功能：

• 通过添加Studio Web策略并将允许 Autopilot选项设置为否。
• 通过添加AI 信任层策略并禁用“启用通过 AI 信任层调用第三方 AI 模型”切换按钮。

禁用这两个选项中的任何一个后，您仍然可以使用 Autopilot 录制器进行用户界面自动化，但无法通过文本提示生成活动，您只能在录制器中手动添加活动。