可观察性

使用实例管理仪表板监控已部署的聊天智能体性能、用户满意度和生产行为。

本页面描述您已部署的聊天体验的可观察性 - 在Agent Builder或Maestro Flow中构建。对于语音对话智能体，请参阅语音可观察性。

使用这些工具监控生产行为，并对智能体的设计进行迭代。

仪表板

实例管理提供仪表板视图，用于监控已部署的对话体验的关键指标、性能指标以及用户提供的反馈。

访问仪表板

1. 转到 UiPath Automation Cloud Portal。
2. 导航到“智能体”>“对话” 。
3. 选择您的对话智能体（内置于Agent Builder中）或对话流（内置于Maestro Flow中）
4. 选择“仪表板”选项卡。

重要提示：

仅实例管理（适用于管理员监控和超级用户）会通过将Agent Builder 智能体标记为对话智能体，将流程构建的智能体标记为对话流程，来区分构建路径。每隔一个部署渠道都将这两种类型都作为对话智能体向最终用户展示。

可用指标

仪表板显示以下内容：

• 使用指标：对话量和用户参与度。
• 性能指标：工具使用情况和活跃用户。
• 用户反馈：赞/踩评分汇总。

用户反馈

用户反馈有助于确定智能体的哪些方面表现良好、哪些方面需要改进。

反馈如何运行

1. 智能体做出响应后，用户点”赞“或”踩“。
2. 用户可以选择添加评论，对其反馈进行解释。
3. 反馈会附加到追踪记录中，可在实例管理中查看。

查看反馈

通过实例管理访问用户反馈：

1. 导航到“智能体”>“对话” 。
2. 选择您的对话智能体（构建在Agent Builder中）或对话流（构建在Maestro Flow中）。
3. 转到“反馈”菜单。
4. 查看反馈条目，包括来自用户的评分和评论。

反馈用于确定需要改进的方面，并了解用户对智能体响应的满意度。

追踪日志

追踪日志提供智能体执行的详细记录，使您能够调试问题并了解智能体行为。

访问 Agent Builder 智能体的追踪记录

1. 选择您的对话智能体（在Agent Builder中构建）。
2. 导航到“审核运行”部分。
3. 选择一个作业以查看其 Trace。与某个对话关联的任何作业都会显示整个对话的 Trace。

访问对话流程的追踪

1. 选择您的对话流程（内置在Maestro Flow中）。
2. 选择“在 Maestro 中打开” 。
3. 选择任何运行，以查看其追踪记录、状态和节点执行情况。

显示哪些追踪记录

每条追踪记录都包含：

• 对话交互：对话中的所有来回轮次。
• 智能体运行：每次交互下的智能体执行，包括输入和输出。
• LLM 调用：发送给模型的提示词和收到的响应。
• 工具调用：调用了哪些工具，包括输入和输出。
• 时间信息：每个步骤的持续时间。
• 令牌使用量：每次交互消耗的令牌数。

使用追踪记录进行调试

调查问题时：

1. 在实例管理或 Orchestrator 作业中找到对话。
2. 打开追踪记录，查看完整的执行路径。
3. 找到智能体偏离预期行为的位置。
4. 使用洞察来优化您的系统提示词或工具配置。

对您的智能体进行迭代

可观察性有助于完成智能体生命周期中的反馈循环。使用生产环境中的洞察来改进智能体的设计。

迭代流程

1. 识别问题：查看仪表板、反馈和问题追踪记录。
2. 诊断根本原因：使用追踪记录了解问题发生的原因。
3. 更新设计：修改系统提示词、工具或配置。
4. 测试更改：创建评估测试，涵盖已发现的问题。
5. 部署更新：发布改进的智能体。
6. 监控结果：通过可观察性验证改进情况。

基于可观察性的常见改进

观察	潜在改进
有关特定主题的负面反馈	添加或改进上下文锚定索引
工具失败	审核工具配置和错误处理
响应时间长	优化工具选择或切换模型
用户要求提供不可用的功能	更新系统提示词以设置预期

审核和合规

AI Trust Layer 审核

AI Trust Layer 提供 LLM 调用和智能体行为的完整审核追踪记录，以满足合规和监管要求。

通过管理门户访问 AITL 审核日志，以获得：

• 模型交互的完整历史记录
• 输入和输出
• 数据驻留和合规性验证

有关详细的部署选项，请参阅“查看审核日志”

后续步骤

• 在 Maestro Flow 中构建：根据见解更新您的对话流程
• 在 Agent Builder 中构建：根据洞察数据在 Agent Builder 中更新智能体
• 智能体追踪: 详细的追踪文档