运行并检查执行结果

配置 ScreenPlay 提示后，请执行以下步骤：

1. 在“调试”模式下运行自动化。
2. 运行完成后，您可以查看智能体如何解释和执行您的提示：
   • 转到“调试”，然后选择“在 Studio 中打开日志”。
   • 打开 ScreenPlay 文件夹。
   • 检查最新的 .html 文件。

每个 HTML 文件都包含一条执行追踪记录，其中详细说明了 ScreenPlay 智能体如何对提示进行推理、识别用户界面目标以及执行每个操作。此追踪记录有助于了解决策流程，并对 ScreenPlay 行为进行验证或故障排除。

ScreenPlay 执行追踪 HTML 文件

ScreenPlay 执行追踪 HTML 文件提供 ScreenPlay 自动化运行的完整可视化和诊断记录。 它以结构化的交互式格式捕获提示输入、AI 推理、屏幕操作和时间指标。

您可以使用此文件检查和验证 ScreenPlay 如何解释提示词，针对哪些用户界面元素，以及每个自动化步骤如何在界面中执行。

默认情况下会自动生成该文件。 您可以在“项目设置”中更改此设置，选择“UIAutomation 新式”，然后转到 "ScreenPlay"，您还可以在这里设置追踪文件的存储天数。

概述

运行 ScreenPlay 自动化时，执行追踪记录会自动生成为 .html 文件。此文件结合了：

• 自然语言提示数据。
• 带有边框的分步用户界面快照。
• 时间和令牌指标。
• 用于推理和错误的诊断部分。

您可以在任何新式网页浏览器中打开 HTML 文件，以查看或共享完整的执行序列。

文件结构

每个 ScreenPlay 追踪文件都遵循一致的内部结构，并包含以下几大部分。

版块	描述
页眉	显示执行的提示、追踪 ID 和时间戳。
总体指标（总计）	对总 Runtime、处理时间和令牌用量进行汇总。
播放器容器	包含可视化重播组件 — 屏幕截图、高亮显示和步骤导航。
迭代块	智能体推理或执行周期中的每次迭代（步骤）。 包括屏幕截图、推理和指标。
诊断部分	可选的 AI 推理、活动数据和错误消息面板。

标头字段

下表介绍了标头字段和示例：

字段	示例	描述
Prompt	create a random RPA supplier	启动自动化的自然语言指令。
Trace ID	3b97584d-7fc0-43f6-830b-fc45c21811b3	此执行追踪记录的唯一标识符，用于参考或比较。

整体指标

“总计”部分汇总了执行中的关键性能数据。

下表介绍了总体指标：

指标	描述
总持续时间	完成执行所需的总时间，包括感知、推理和操作阶段。
缓存 / DOM / 服务器 / 操作（工具提示）	每个子系统中的已用时间细分（例如，缓存的响应、DOM 扫描、推理和用户界面操作）。
令牌总数	如果追踪记录包含 AI 语言模型推理，则追踪令牌输入/输出。用于调试 LLM 使用情况。

步骤帧

每个步骤帧或执行步骤代表 ScreenPlay 智能体的一次推理和操作迭代。

下表介绍了每个元素及其用途。

元素	用途
步骤编号 (data-step="1")	标识步骤的序列顺序。
屏幕截图	执行时捕获的应用程序窗口或桌面的映像。
画布坐标 (数据坐标)	用于检测到或交互元素的 JSON 编码边框。
迭代标头	显示步骤名称、推理预览和持续时间摘要。
迭代内容	包含展开的详细信息，包括推理文本和任何执行元数据。

诊断部分

每次迭代可能包含一个或多个可扩展部分，如下表所述：

版块名称	用途
想法	显示 AI 推理和意图解释（如果已启用推理）。
步骤信息	显示关于目标元素、选取器或检测到的用户界面控件的上下文信息。
错误	红色的可视化提示表示失败；包含错误消息、异常追踪记录或回退操作。
活动数据	显示结构化执行数据，包括活动类型、参数和目标应用程序。

屏幕截图查看器和播放器控件

ScreenPlay 追踪记录包含一个内置播放器，用于浏览每个捕获的帧。

下表介绍了每个控件。

控制	描述
“下一步”/“上一步”按钮	在连续步骤之间导航。
步骤范围滑块	直接跳至序列中的某个步骤。
切换高亮显示	覆盖数据坐标字段中定义的边界框，用于可视化显示单击或输入的区域。
屏幕截图容器	如果没有可用图像，显示渲染图像或占位符。

可视化覆盖

每个步骤都可以包含覆盖框，以指示用户界面交互类型，如下所示：

• 单击 – 绘制在按钮或可单击区域上的矩形。
• 类型 – 高亮显示输入字段。
• 悬停 / 拖动 – 显示移动或光标位置的轮廓。
• 错误标记 – 失败元素操作上的红色覆盖层。