Observabilidade

Monitor your deployed chat agent performance, user satisfaction, and production behavior using the Instance Management dashboard.

This page describes observability for your deployed chat experiences - built in either Agent Builder or in Maestro Flow. For voice conversational agents, see Voice observability.

Use these tools to monitor production behavior and iterate on your agent's design.

Painel

Instance Management provides a dashboard view for monitoring your deployed conversational experience's key metrics, performance indicators, and user-provided feedback.

Acesso ao painel

1. Acesse o portal do UiPath Automation Cloud.
2. Navigate to Agents > Conversational.
3. Select your Conversational Agent (built in Agent Builder) or Conversational Flow (built in Maestro Flow)
4. Selecione a guia Painel.

Importante:

Only Instance Management — intended for admin monitoring and power users — distinguishes between build paths by labeling Agent Builder agents as Conversational Agents and Flow-built agents as Conversational Flows. Every other deployment channel surfaces both types as a Conversational Agent to end-users.

Métricas disponíveis

O painel fornece visibilidade sobre:

• Métricas de uso: volume de conversa e engajamento do usuário.
• Indicadores de desempenho: uso da ferramenta e usuários ativos.
• Feedback do usuário: resumo das classificações de polegares para cima/para baixo.

Feedback do usuário

O feedback dos usuários ajuda a identificar áreas em que seu agente tem um bom desempenho e onde ele precisa de melhoria.

Como o feedback funciona

1. Os usuários fornecem avaliações positivas ou negativas após as respostas do agente.
2. Os usuários podem adicionar comentários explicando seu feedback.
3. O feedback é anexado ao rastreamento e pode ser revisado no Gerenciamento de instâncias.

Revisão de feedback

Acesse feedback do usuário por meio do Gerenciamento de instâncias:

1. Navigate to Agents > Conversational.
2. Select your Conversational Agent (built in Agent Builder) or Conversational Flow (built in Maestro Flow).
3. Acesse o menu Feedback.
4. Revise entradas de feedback com classificações e comentários dos usuários.

Use esse feedback para identificar áreas para melhoria e entender a satisfação do usuário com as respostas do agente.

Logs de rastreamento

Os logs de rastreamento fornecem registros detalhados da execução do agente, permitindo que você depure problemas e entenda o comportamento do agente.

Accessing traces for Agent Builder agents

1. Select your Conversational Agent (built in Agent Builder).
2. Navigate to the Review runs section.
3. Selecione um trabalho para visualizar seu trace. Qualquer trabalho correlacionado a uma conversa mostrará o trace de toda a conversa.

Accessing traces for conversational Flows

1. Select your Conversational Flow (built in Maestro Flow).
2. Select Open in Maestro.
3. Select any run to view its trace, status, and node executions.

O que os traces mostram

Cada trace inclui:

• Trocas de conversas: todas as idas e vindas na conversa.
• Execuções do agente: a execução do agente em cada troca, com entradas e saídas.
• Chamadas de LLM: solicitações enviadas para o modelo e respostas recebidas.
• Invocações de ferramentas: quais ferramentas foram chamadas, com entradas e saídas.
• Informações de tempo: duração de cada etapa.
• Uso de tokens: tokens consumidos por troca.

Uso de traces para depurar

Ao investigar problemas:

1. Localize a conversa em Gerenciamento de instâncias ou trabalhos do Orchestrator.
2. Abra o trace para ver o caminho completo da execução.
3. Identifique onde o agente se desviou do comportamento esperado.
4. Use insights para refinar sua solicitação do sistema ou configuração de ferramenta.

Iteração em seu agente

A observabilidade completa o ciclo de feedback no ciclo de vida do agente. Use insights da produção para melhorar o design do seu agente.

O processo de iteração

1. Identificar problemas: revise painéis, feedback e traces para identificar problemas.
2. Diagnosticar causas raiz: use traces para entender por que os problemas ocorrem.
3. Atualizar o design: modifique solicitações, ferramentas ou configurações do sistema.
4. Alterações de teste: crie testes de avaliação abrangendo os problemas identificados.
5. Implantar atualizações: publique o agente aprimorado.
6. Monitorar resultados: verifique melhorias por meio da observabilidade.

Melhorias comuns com base na observabilidade.

Observação	Potencial de melhoria
Feedback negativo sobre tópicos específicos	Adicione ou melhore índices de contextualização
Falhas de ferramentas	Revise a configuração da ferramenta e o tratamento de erros
Tempos de resposta longos	Otimize a seleção de ferramentas ou alterne modelos
Usuários que pedem funcionalidades indisponíveis	Atualize solicitação do sistema para definir expectativas

Auditoria e conformidade

Auditoria do AI Trust Layer

O AI Trust Layer fornece uma trilha de auditoria completa de chamadas de LLM e comportamento do agente para fins de conformidade e governança.

Acesse logs de auditoria do AITL por meio do portal do administrador para:

• Histórico completo de interações com o modelo
• Entradas e saídas
• Residência de dados e verificação de conformidade

Para obter opções detalhadas de implantação, consulte visualização de logs de auditoria.

Próximas Etapas

• Build in Maestro Flow: Update your conversational Flow based on insights
• Build in Agent Builder: Update your agent in Agent Builder based on insights
• Agent traces: Detailed trace documentation