对话智能体的可观察性

可观察性提供有关对话智能体性能、用户满意度以及待改进方面的洞察。使用这些工具监控生产行为，并对智能体的设计进行迭代。

仪表板

实例管理提供仪表板视图，用于监控对话智能体的关键指标和性能指标。

访问仪表板

1. 转到 UiPath Automation Cloud Portal。
2. 导航到“智能体 > 已部署的智能体”。
3. 选择您的对话智能体。
4. 选择“仪表板”选项卡。

可用指标

仪表板显示以下内容：

• 使用指标：对话量和用户参与度。
• 性能指标：工具使用情况和活跃用户。
• 用户反馈：赞/踩评分汇总。

备注：

消耗指标正在更新，将在即将推出的版本中提供。

用户反馈

用户反馈有助于确定智能体的哪些方面表现良好、哪些方面需要改进。

反馈如何运行

1. 智能体做出响应后，用户点”赞“或”踩“。
2. 用户可以选择添加评论，对其反馈进行解释。
3. 反馈会附加到追踪记录中，可在实例管理中查看。

查看反馈

通过实例管理访问用户反馈：

1. 导航到“智能体 > 已部署的智能体”。
2. 选择您的对话智能体。
3. 转到“反馈”菜单。
4. 查看反馈条目，包括来自用户的评分和评论。

反馈用于确定需要改进的方面，并了解用户对智能体响应的满意度。

追踪日志

追踪日志提供智能体执行的详细记录，使您能够调试问题并了解智能体行为。

访问追踪记录

1. 在实例管理中，选择您的智能体。
2. 导航到 "Runtime" 部分。
3. 选择对话以查看其追踪记录。

显示哪些追踪记录

每条追踪记录都包含：

• LLM 调用：发送给模型的提示词和收到的响应。
• 工具调用：调用了哪些工具，包括输入和输出。
• 时间信息：每个步骤的持续时间。
• 令牌使用量：每次调用消耗的令牌数量。

使用追踪记录进行调试

调查问题时：

1. 在实例管理或 Orchestrator 作业中找到对话。
2. 打开追踪记录，查看完整的执行路径。
3. 找到智能体偏离预期行为的位置。
4. 使用洞察来优化您的系统提示词或工具配置。

对您的智能体进行迭代

可观察性有助于完成智能体生命周期中的反馈循环。使用生产环境中的洞察来改进智能体的设计。

迭代流程

1. 识别问题：查看仪表板、反馈和问题追踪记录。
2. 诊断根本原因：使用追踪记录了解问题发生的原因。
3. 更新设计：修改系统提示词、工具或配置。
4. 测试更改：创建评估测试，涵盖已发现的问题。
5. 部署更新：发布改进的智能体。
6. 监控结果：通过可观察性验证改进情况。

基于可观察性的常见改进

观察	潜在改进
有关特定主题的负面反馈	添加或改进上下文锚定索引
工具失败	审核工具配置和错误处理
响应时间长	优化工具选择或切换模型
用户要求提供不可用的功能	更新系统提示词以设置预期

审核和合规

AI Trust Layer 审核

AI Trust Layer 提供 LLM 调用和智能体行为的完整审核追踪记录，以满足合规和监管要求。

通过管理门户访问 AITL 审核日志，以获得：

• 模型交互的完整历史记录
• 输入和输出
• 数据驻留和合规性验证

有关详细的部署选项，请参阅“查看审核日志”

后续步骤

• 设计：根据洞察更新您的智能体。
• 评估：在生产场景中创建测试
• 智能体追踪：详细的追踪文档
• 智能体分数：了解智能体运行状况分数