对话智能体的可观察性

可观察性可以帮助您深入了解对话智能体的性能、用户满意度以及需要改进的领域。使用这些工具，监控生产行为并对智能体的设计进行迭代。

仪表板

实例管理提供了一个仪表板视图，用于监控对话智能体的关键指标和性能指标。

访问仪表板

1. 转到 UiPath Automation Cloud 门户。
2. 导航到智能体 > 已部署的智能体。
3. 选择您的对话智能体。
4. 选择“仪表板”选项卡。

可用指标

通过仪表板可以查看以下内容：

• 使用情况指标：对话量和用户参与度。
• 绩效指标：工具使用情况和活跃用户。
• 用户反馈：赞成/反对评分摘要。

备注：

消耗指标正在更新，将在即将推出的版本中提供。

用户反馈

用户反馈有助于确定智能体性能良好的领域以及需要改进的领域。

反馈的工作原理

1. 用户在智能体响应后表示同意或反对。
2. 用户可以选择添加注释，对其反馈作出解释。
3. 反馈将附加到追踪，您可以在 “实例管理”中查看。

审核反馈

通过实例管理访问用户反馈：

1. 导航到智能体 > 已部署的智能体。
2. 选择您的对话智能体。
3. 转到“反馈”菜单。
4. 查看反馈条目，其中包含用户的评分和评论。

利用此反馈确定需要改进的方面，并了解用户对智能体响应的满意度。

追踪日志

追踪日志提供智能体执行的详细记录，有助于您调试问题和了解智能体行为。

访问追踪记录

1. 在“实例管理”中，选择您的智能体。
2. 导航至Runtime部分。
3. 选择一个对话以查看其追踪。

追踪显示的内容

每个追踪包括：

• LLM 调用：发送到模型的提示和收到的响应。
• 工具调用：调用了哪些工具，以及输入和输出。
• 时间信息：每个步骤的持续时间。
• 令牌使用情况：每次调用消耗的令牌。

使用追踪进行调试

调查问题时：

1. 在实例管理或 Orchestrator 作业中查找对话。
2. 打开追踪以查看完整的执行路径。
3. 确定智能体在哪些方面偏离预期行为。
4. 使用 Insights 优化系统提示或工具配置。

对智能体进行迭代

可观察性完善了智能体生命周期中的反馈循环。利用生产过程中的见解来改进智能体的设计。

迭代过程

1. 识别问题：审核仪表板、反馈和追踪是否存在问题。
2. 诊断根本原因：使用追踪记录来了解问题发生的原因。
3. 更新设计: 修改系统提示、工具或配置。
4. 测试更改: 创建涵盖已识别问题的评估测试。
5. 部署更新：发布改进的智能体。
6. 监控结果：通过可观察性验证改进情况。

基于可观察性的常见改进

观察	潜在的改进
针对特定主题的负面反馈	添加或改进上下文基础索引
工具失败	检查工具配置和错误处理
响应时间长	优化工具选择或切换模型
用户询问不可用的功能	更新系统提示词，以设定预期

审核与合规性

AI Trust Layer 审核

AI Trust Layer 提供 LLM 调用和智能体行为的完整审核线索，用于合规性和监管目的。

通过管理门户访问 AITL 审核日志，以：

• 模型交互的完整历史记录
• 输入和输出
• 数据驻留和合规性验证

有关详细的部署选项，请参阅查看审核日志

后续步骤

• 设计: 根据 Insights 更新智能体
• 评估（评估） ：根据生产场景创建测试
• 智能体追踪:详细的追踪文档
• 智能体分数：了解智能体运行状况分数