智能体追踪

关于追踪

追踪是智能体在运行期间执行的所有操作的详细记录，包括采取的步骤、处理的数据、做出的决策和生成的结果。 每个追踪都捕获智能体行为的完整时间线，包括时间戳、错误、输入/输出和上下文元数据。 追踪记录用于：

• 调试和故障排除：准确识别智能体故障或意外行为。
• 性能分析：评估智能体运行的延迟、错误和吞吐量以优化行为。
• 合规和审计：保持智能体的操作、操作时间和方式的可验证记录，这对于审计或监管工作流至关重要。
• 持续改进：使用追踪洞察微调智能体逻辑，调整行为或训练新模型。

下表概述了追踪记录可视化可以增强您调试、分析和优化智能体行为的常见用例。每个示例都重点介绍了追踪数据如何帮助在开发和 runtime 监控期间发现洞察并推动更好的决策。

Use case	追踪记录为您提供哪些帮助
工具调用期间智能体故障	查找并检查具体的步骤、输入、输出和错误
速度较慢	使用时间戳定位瓶颈
调查错误激增的情况	按状态筛选运行并追踪模式
验证生产修复	重现原始运行，并确认此问题不再发生
准备审计报告	导出或查看显示决策路径和已处理数据的追踪记录

追踪类型

追踪有两种不同类型，每种类型都有特定用途，用于理解和分析智能体行为：

• 智能体运行追踪：这些追踪记录智能体在实时或计划运行期间的逐步执行。 它们显示了智能体如何处理数据、调用工具、处理条件以及对不同状态进行实时响应。
• 评估运行追踪：当智能体根据预定义输入进行测试时，通常是在模型评估、场景验证或测试用例期间，会生成评估追踪。 这些有助于评估智能体的准确性、决策质量和受控条件下的行为。

访问追踪记录

您可以从两个关键位置访问这两种类型的追踪记录：

• Agent Builder – 在设计或测试智能体时，追踪在 Agent Builder 中直接可用：
  • 运行智能体时，底部面板会自动打开 Execution Trail（执行追踪记录）选项卡，显示当前运行的实时跟踪。您还可以切换到“历史记录”选项卡，以查看过去的运行，并直接将其添加到评估集中。
  • “评估”和“输出”选项卡提供了最近运行情况的另一个视图，您可以在其中检查行为和结果以及智能体定义。
• “智能体实例”页面 – 导航到“智能体 > 实例”版块。 在这里选择一个智能体，然后选择任何运行以打开其追踪视图，其中包括完整的可视化追踪和日志面板。

在查看智能体运行或评估运行的追踪记录时，您可以看到智能体的执行情况。您可以：

• 查看彩色标记节点所示的执行结果：成功、失败或重试。
• 将鼠标悬停在任何节点上，以预览开始和结束时间戳、执行状态、输入和输出代码段。
• 选择一个节点以查看详细信息，包括完整的 JSON 有效负载、日志和错误、runtime 指标（令牌使用情况、延迟）。

管理追踪数据的访问权限

本节概述了管理员如何使用基于角色的访问控制模型配置追踪数据访问权限。

要查看追踪日志，您需要以下权限：

• Logs.View
• Jobs.View

有关默认角色权限的详细信息，请参阅“默认角色”。

以下矩阵介绍了基于权限组合的可见性结果。这些组合定义了您可以查看的详细追踪信息，具体取决于您的角色权限。

Logs.View	Jobs.View	访问结果
启用	启用	所有属性
启用	禁用	所有属性
禁用	启用	部分属性（例如，名称、类型）
禁用	禁用	无访问权限

当你缺少查看追踪数据的必要权限时，您会看到一条消息，说明访问权限是完全受限还是部分受限，并提供请求必要权限的指导。

备注：

追踪数据，包括输入和输出数据，可以使用客户托管密钥 (CMK) 进行加密。智能体追踪 CMK 加密是一项可选功能，为您的组织配置 CMK 时，该功能不会自动启用。要启用该功能，请提交支持工单。有关详细信息，请参阅《管理员指南》中的“按服务加密”。

Feedback on agent runs

备注：

此功能目前处于预览阶段。

反馈是解释和改进智能体 runtime 的关键机制。利用反馈，您可以查看行为、诊断问题，并记录有关智能体如何做出决策的有意义模式。

除了调试之外，反馈还充当基于反馈的情景记忆的核心输入，让智能体能够逐步优化其决策策略，无需为每次调整重写完整的提示词。

反馈和记忆之间的关系

虽然反馈充当批注工具，但其最强大的应用是影响情景记忆。

提供有关追踪的反馈，突出显示智能体在未来运行时应复制或避免的行为。

• 演进而非重复：与静态解决方案不同，借助基于反馈的记忆，智能体的行为将随时间推移而不断改进。智能体学习识别被标记为正确或不正确的模式。
• 针对性改进：此方法在智能体经常“接近正确”或决策策略尚在形成的流程中尤为有效。
• 选择性记忆：并非所有反馈都会自动变成记忆。您必须主动确定哪些批注代表高价值学习机会，以防止低质量或不一致的反馈导致性能下降。

在何处应用反馈

您可以在智能体追踪中提供有关任何跨度的反馈。借助这种灵活性，您可以在查看或诊断行为时对特定的工具调用、防护机制检查或 LLM 输出进行批注。

只有应用于智能体运行跨度的反馈才有资格获得情景记忆。虽然您可以对追踪的任何部分进行批注以供分析，但只有直接附加到智能体运行跨度的反馈才会作为记忆存储并在将来的运行中进行检索。

何时应用反馈

虽然提供有关所有追踪的反馈会最大化迭代式学习的效果，但在实践中，您应专注于可提供最高优化价值的追踪。

重点关注以下场景：

• 关键场景：涉及高风险决策或高影响错误的追踪。
• 重复模式：智能体始终难以解决或出现重复故障的区域。
• 艰难决策：智能体面临复杂选择的实例。
• 消极情绪：导致用户体验较差的运行。
• 模型行为：清晰演示您希望智能体严格复制或严格避免的特定行为的示例。

应用反馈对于持续改进至关重要。利用反馈，您可以对更优行为进行增量编码，使智能体运行更加可靠和一致。

• 对追踪排定优先级：重点关注关键场景中的追踪、影响较大的错误或智能体难以解决的重复模式。
• 高价值场景：将优先处理代表智能体的艰难决策、体现负面用户情绪或清晰说明您希望智能体复制或避免的行为的运行。
• 重点领域：清晰识别您要提供反馈的内容：
  • 输出：最终结果是否符合预期？
  • 计划执行（轨迹）：智能体是否按预期顺序执行任务步骤？
  • 评论：使用评论来丰富反馈内容，并为记忆检索提供依据。

追踪的“自定义生存时间”设置

您可以使用Automation Ops 中的 AI Trust Layer 策略，通过设置自定义生存期 (TTL) 来配置追踪跨度的保留时间。

追踪生存期定义了 AI Trust Layer 中执行追踪的保留窗口。每个追踪记录都包含记录自动化或 AI 交互步骤的跨度。TTL 设置决定了这些跨度保持可用的时间，并自动删除超过所选持续时间的任何数据。

此功能可让您对追踪可见性进行精细控制，从而使保留时间与隐私、合规性和操作要求保持一致。

该策略在租户级别强制执行，这意味着配置的 TTL 适用于所有跨度，并影响租户中每个用户能够查看的内容。

在“AI Trust Layer”功能开关下的 Automation Ops 策略设置中，您可以启用或禁用 TTL 强制：

• 启用后：系统会在“TTL 天”字段中保留指定的天数，并在过期后自动将其删除。
• 当禁用时: 追踪不受严格的 TTL 策略约束。

要为追踪启用和配置自定义 TTL，请执行以下步骤：

1. 导航到 Automation Ops。
2. 如果您还没有 AI Trust Layer 策略，请选择“添加产品策略”–“AI Trust Layer” 。否则，请打开并编辑现有策略。
3. 选择“功能切换” 。
4. 配置以下字段：
   • 针对追踪数据的强制生存时间– 启用后，此设置将控制跨度在删除之前保持可见状态。TTL 过期后，所有受影响的跨度都将从用户界面中永久删除。
     • TTL 天– 指定追踪跨度在清除之前的存储天数。
   • 受限的 Insights 追踪数据– 如果启用，则在将追踪数据发送到 Insights 之前，将从中删除所有非 UiPath 元数据。这限制了 Insights 中可用的详细信息，并影响在“智能体”页面上查看详细或汇总指标的功能。

备注：

如果将反馈或内存添加到追踪中的任何跨度，则整个追踪将被保留，并且不再受配置的 TTL 的约束。要清理追踪，您必须先删除关联的反馈或记忆。

追踪监管影响

为追踪数据配置自定义 TTL 有几个重要作用：

• （可选）分析：您的 TTL 配置决定了可用于分析的历史追踪数据量。较短的保留时间支持更严格的数据最小化要求，而较长的保留时间则可保留更多执行上下文，用于调查和故障排除。
• 数据删除：超过配置的 TTL 后，系统会自动删除跨度。更改 TTL 不会还原任何已过期或受到限制的数据。
• 可见性：介于 TTL 窗口之外的执行运行不再出现在追踪用户界面或依赖速度层追踪数据的组件中。
• 作用域：配置的 TTL 将应用于租户内的所有跨度，并影响每个用户的可见性。
• 例外：某些功能可能完全绕过 TTL，例如智能体记忆和追踪反馈。在定义专用的生命周期结束策略之前，系统将无限期保留这些功能的数据。