可观察性

Monitor your deployed chat agent performance, user satisfaction, and production behavior using the Instance Management dashboard.

This page describes observability for your deployed chat experiences - built in either Agent Builder or in Maestro Flow. For voice conversational agents, see Voice observability.

Use these tools to monitor production behavior and iterate on your agent's design.

仪表板

Instance Management provides a dashboard view for monitoring your deployed conversational experience's key metrics, performance indicators, and user-provided feedback.

访问仪表板

1. 转到 UiPath Automation Cloud Portal。
2. Navigate to Agents > Conversational.
3. Select your Conversational Agent (built in Agent Builder) or Conversational Flow (built in Maestro Flow)
4. 选择“仪表板”选项卡。

重要提示：

Only Instance Management — intended for admin monitoring and power users — distinguishes between build paths by labeling Agent Builder agents as Conversational Agents and Flow-built agents as Conversational Flows. Every other deployment channel surfaces both types as a Conversational Agent to end-users.

可用指标

仪表板显示以下内容：

• 使用指标：对话量和用户参与度。
• 性能指标：工具使用情况和活跃用户。
• 用户反馈：赞/踩评分汇总。

用户反馈

用户反馈有助于确定智能体的哪些方面表现良好、哪些方面需要改进。

反馈如何运行

1. 智能体做出响应后，用户点”赞“或”踩“。
2. 用户可以选择添加评论，对其反馈进行解释。
3. 反馈会附加到追踪记录中，可在实例管理中查看。

查看反馈

通过实例管理访问用户反馈：

1. Navigate to Agents > Conversational.
2. Select your Conversational Agent (built in Agent Builder) or Conversational Flow (built in Maestro Flow).
3. 转到“反馈”菜单。
4. 查看反馈条目，包括来自用户的评分和评论。

反馈用于确定需要改进的方面，并了解用户对智能体响应的满意度。

追踪日志

追踪日志提供智能体执行的详细记录，使您能够调试问题并了解智能体行为。

Accessing traces for Agent Builder agents

1. Select your Conversational Agent (built in Agent Builder).
2. Navigate to the Review runs section.
3. 选择一个作业以查看其 Trace。与某个对话关联的任何作业都会显示整个对话的 Trace。

Accessing traces for conversational Flows

1. Select your Conversational Flow (built in Maestro Flow).
2. Select Open in Maestro.
3. Select any run to view its trace, status, and node executions.

显示哪些追踪记录

每条追踪记录都包含：

• 对话交互：对话中的所有来回轮次。
• 智能体运行：每次交互下的智能体执行，包括输入和输出。
• LLM 调用：发送给模型的提示词和收到的响应。
• 工具调用：调用了哪些工具，包括输入和输出。
• 时间信息：每个步骤的持续时间。
• 令牌使用量：每次交互消耗的令牌数。

使用追踪记录进行调试

调查问题时：

1. 在实例管理或 Orchestrator 作业中找到对话。
2. 打开追踪记录，查看完整的执行路径。
3. 找到智能体偏离预期行为的位置。
4. 使用洞察来优化您的系统提示词或工具配置。

对您的智能体进行迭代

可观察性有助于完成智能体生命周期中的反馈循环。使用生产环境中的洞察来改进智能体的设计。

迭代流程

1. 识别问题：查看仪表板、反馈和问题追踪记录。
2. 诊断根本原因：使用追踪记录了解问题发生的原因。
3. 更新设计：修改系统提示词、工具或配置。
4. 测试更改：创建评估测试，涵盖已发现的问题。
5. 部署更新：发布改进的智能体。
6. 监控结果：通过可观察性验证改进情况。

基于可观察性的常见改进

观察	潜在改进
有关特定主题的负面反馈	添加或改进上下文锚定索引
工具失败	审核工具配置和错误处理
响应时间长	优化工具选择或切换模型
用户要求提供不可用的功能	更新系统提示词以设置预期

审核和合规

AI Trust Layer 审核

AI Trust Layer 提供 LLM 调用和智能体行为的完整审核追踪记录，以满足合规和监管要求。

通过管理门户访问 AITL 审核日志，以获得：

• 模型交互的完整历史记录
• 输入和输出
• 数据驻留和合规性验证

有关详细的部署选项，请参阅“查看审核日志”

后续步骤

• Build in Maestro Flow: Update your conversational Flow based on insights
• Build in Agent Builder: Update your agent in Agent Builder based on insights
• Agent traces: Detailed trace documentation