智能体追踪

关于追踪

追踪是智能体在运行期间执行的所有操作的详细记录，包括采取的步骤、处理的数据、做出的决策和生成的结果。 每个追踪都捕获智能体行为的完整时间线，包括时间戳、错误、输入/输出和上下文元数据。 追踪记录用于：

• 调试和故障排除：准确识别智能体故障或意外行为。
• 性能分析：评估智能体运行的延迟、错误和吞吐量以优化行为。
• 合规和审计：保持智能体的操作、操作时间和方式的可验证记录，这对于审计或监管工作流至关重要。
• 持续改进：使用追踪洞察微调智能体逻辑，调整行为或训练新模型。

下表概述了追踪记录可视化可以增强您调试、分析和优化智能体行为的常见用例。每个示例都重点介绍了追踪数据如何帮助在开发和 runtime 监控期间发现洞察并推动更好的决策。

Use case	追踪记录为您提供哪些帮助
工具调用期间智能体故障	查找并检查具体的步骤、输入、输出和错误
速度较慢	使用时间戳定位瓶颈
调查错误激增的情况	按状态筛选运行并追踪模式
验证生产修复	重现原始运行，并确认此问题不再发生
准备审计报告	导出或查看显示决策路径和已处理数据的追踪记录

追踪类型

追踪有两种不同类型，每种类型都有特定用途，用于理解和分析智能体行为：

• 智能体运行追踪：这些追踪记录智能体在实时或计划运行期间的逐步执行。 它们显示了智能体如何处理数据、调用工具、处理条件以及对不同状态进行实时响应。
• 评估运行追踪：当智能体根据预定义输入进行测试时，通常是在模型评估、场景验证或测试用例期间，会生成评估追踪。 这些有助于评估智能体的准确性、决策质量和受控条件下的行为。

访问追踪记录

您可以从两个关键位置访问这两种类型的追踪记录：

• Agent Builder – 在设计或测试智能体时，追踪在 Agent Builder 中直接可用：
  • 运行智能体时，底部面板会自动打开 Execution Trail（执行追踪记录）选项卡，显示当前运行的实时跟踪。您还可以切换到“历史记录”选项卡，以查看过去的运行，并直接将其添加到评估集中。
  • “评估”和“输出”选项卡提供了最近运行情况的另一个视图，您可以在其中检查行为和结果以及智能体定义。
• “智能体实例”页面 – 导航到“智能体 > 已部署的智能体”部分。在这里选择一个智能体，然后选择任何运行以打开其追踪视图，其中包括完整的可视化追踪和日志面板。

在查看智能体运行或评估运行的追踪记录时，您可以看到智能体的执行情况。您可以：

• 查看彩色标记节点所示的执行结果：成功、失败或重试。
• 将鼠标悬停在任何节点上，以预览开始和结束时间戳、执行状态、输入和输出代码段。
• 选择一个节点以查看详细信息，包括完整的 JSON 有效负载、日志和错误、runtime 指标（令牌使用情况、延迟）。

管理追踪数据的访问权限

本节概述了管理员如何使用基于角色的访问控制模型配置追踪数据访问权限。

要查看追踪日志，您需要以下权限：

• Logs.View
• Jobs.View

有关默认角色权限的详细信息，请参阅“默认角色”。

以下矩阵介绍了基于权限组合的可见性结果。这些组合定义了您可以查看的详细追踪信息，具体取决于您的角色权限。

Logs.View	Jobs.View	访问结果
启用	启用	所有属性
启用	禁用	所有属性
禁用	启用	部分属性（例如，名称、类型）
禁用	禁用	无访问权限

当你缺少查看追踪数据的必要权限时，您会看到一条消息，说明访问权限是完全受限还是部分受限，并提供请求必要权限的指导。

对智能体运行的反馈

反馈是解释和改进智能体 runtime 的关键机制。利用反馈，您可以查看行为、诊断问题，并记录有关智能体如何做出决策的有意义模式。

在何处应用反馈

您可以在智能体追踪中提供有关任何跨度的反馈。借助这种灵活性，您可以在查看或诊断行为时对特定的工具调用、防护机制检查或 LLM 输出进行批注。

何时应用反馈

虽然提供有关所有追踪的反馈会最大化迭代式学习的效果，但在实践中，您应专注于可提供最高优化价值的追踪。

重点关注以下场景：

• 关键场景：涉及高风险决策或高影响错误的追踪。
• 重复模式：智能体始终难以解决或出现重复故障的区域。
• 艰难决策：智能体面临复杂选择的实例。
• 消极情绪：导致用户体验较差的运行。
• 模型行为：清晰演示您希望智能体严格复制或严格避免的特定行为的示例。

应用反馈对于持续改进至关重要。利用反馈，您可以对更优行为进行增量编码，使智能体运行更加可靠和一致。

• 对追踪排定优先级：重点关注关键场景中的追踪、影响较大的错误或智能体难以解决的重复模式。
• 高价值场景：将优先处理代表智能体的艰难决策、体现负面用户情绪或清晰说明您希望智能体复制或避免的行为的运行。
• 重点领域：清晰识别您要提供反馈的内容：
  • 输出：最终结果是否符合预期？
  • 计划执行（轨迹）：智能体是否按预期顺序执行任务步骤？
  • 评论：使用评论来丰富反馈内容，并为记忆检索提供依据。