Observabilidade

Monitore o desempenho do seu agente de chat implantado, a satisfação do usuário e o comportamento de produção usando o painel Gerenciamento de instâncias.

Esta página descreve a observabilidade para suas experiências de chat implantadas — criadas no Agent Builder ou no Maestro Flow. Para agentes de conversação de voz, consulte Observabilidade de voz.

Use essas ferramentas para monitorar o comportamento da produção e iterar sobre o design do seu agente.

Painel

O Gerenciamento de instâncias fornece uma visualização de painel para monitorar as principais métricas da sua experiência de conversação implantada, indicadores de desempenho e feedback fornecido pelo usuário.

Acesso ao painel

1. Acesse o portal do UiPath Automation Cloud.
2. Navegue até Agentes > Conversacional.
3. Selecione seu Agente de conversação (criado no Agent Builder) ou Fluxo de conversação (criado no Maestro Flow)
4. Selecione a guia Painel.

Importante:

Apenas o Gerenciamento de instâncias — destinado a monitoramento de administradores e usuários avançados — diferencia entre caminhos de compilação ao rotular agentes do Agent Builder como Agentes de conversação e agentes criados em fluxo como Fluxos de conversação. Todos os outros canais de implantação revela ambos os tipos como um Agente de conversa para usuários finais.

Métricas disponíveis

O painel fornece visibilidade sobre:

• Métricas de uso: volume de conversa e engajamento do usuário.
• Indicadores de desempenho: uso da ferramenta e usuários ativos.
• Feedback do usuário: resumo das classificações de polegares para cima/para baixo.

Feedback do usuário

O feedback dos usuários ajuda a identificar áreas em que seu agente tem um bom desempenho e onde ele precisa de melhoria.

Como o feedback funciona

1. Os usuários fornecem avaliações positivas ou negativas após as respostas do agente.
2. Os usuários podem adicionar comentários explicando seu feedback.
3. O feedback é anexado ao rastreamento e pode ser revisado no Gerenciamento de instâncias.

Revisão de feedback

Acesse feedback do usuário por meio do Gerenciamento de instâncias:

1. Navegue até Agentes > Conversacional.
2. Selecione seu Agente de conversação (criado no Agent Builder) ou Fluxo de conversa (criado no Maestro Flow).
3. Acesse o menu Feedback.
4. Revise entradas de feedback com classificações e comentários dos usuários.

Use esse feedback para identificar áreas para melhoria e entender a satisfação do usuário com as respostas do agente.

Logs de rastreamento

Os logs de rastreamento fornecem registros detalhados da execução do agente, permitindo que você depure problemas e entenda o comportamento do agente.

Acesso a traces para agentes do Agent Builder

1. Selecione seu Agente de conversação (criado no Agent Builder).
2. Navegue até a seção Execuções de revisão .
3. Selecione um trabalho para visualizar seu trace. Qualquer trabalho correlacionado a uma conversa mostrará o trace de toda a conversa.

Acessando traces para fluxos de conversação

1. Selecione seu Fluxo de conversa (criado no Maestro Flow).
2. Selecione Abrir no Maestro.
3. Selecione qualquer execução para visualizar seu trace, status e execuções de nós.

O que os traces mostram

Cada trace inclui:

• Trocas de conversas: todas as idas e vindas na conversa.
• Execuções do agente: a execução do agente em cada troca, com entradas e saídas.
• Chamadas de LLM: solicitações enviadas para o modelo e respostas recebidas.
• Invocações de ferramentas: quais ferramentas foram chamadas, com entradas e saídas.
• Informações de tempo: duração de cada etapa.
• Uso de tokens: tokens consumidos por troca.

Uso de traces para depurar

Ao investigar problemas:

1. Localize a conversa em Gerenciamento de instâncias ou trabalhos do Orchestrator.
2. Abra o trace para ver o caminho completo da execução.
3. Identifique onde o agente se desviou do comportamento esperado.
4. Use insights para refinar sua solicitação do sistema ou configuração de ferramenta.

Iteração em seu agente

A observabilidade completa o ciclo de feedback no ciclo de vida do agente. Use insights da produção para melhorar o design do seu agente.

O processo de iteração

1. Identificar problemas: revise painéis, feedback e traces para identificar problemas.
2. Diagnosticar causas raiz: use traces para entender por que os problemas ocorrem.
3. Atualizar o design: modifique solicitações, ferramentas ou configurações do sistema.
4. Alterações de teste: crie testes de avaliação abrangendo os problemas identificados.
5. Implantar atualizações: publique o agente aprimorado.
6. Monitorar resultados: verifique melhorias por meio da observabilidade.

Melhorias comuns com base na observabilidade.

Observação	Potencial de melhoria
Feedback negativo sobre tópicos específicos	Adicione ou melhore índices de contextualização
Falhas de ferramentas	Revise a configuração da ferramenta e o tratamento de erros
Tempos de resposta longos	Otimize a seleção de ferramentas ou alterne modelos
Usuários que pedem funcionalidades indisponíveis	Atualize solicitação do sistema para definir expectativas

Auditoria e conformidade

Auditoria do AI Trust Layer

O AI Trust Layer fornece uma trilha de auditoria completa de chamadas de LLM e comportamento do agente para fins de conformidade e governança.

Acesse logs de auditoria do AITL por meio do portal do administrador para:

• Histórico completo de interações com o modelo
• Entradas e saídas
• Residência de dados e verificação de conformidade

Para obter opções detalhadas de implantação, consulte visualização de logs de auditoria.

Próximas Etapas

• Criar no Maestro Flow: atualize seu fluxo de conversa com base em insights
• Criar no Agent Builder: atualize seu agente no Agent Builder com base em insights
• Traces do agente: documentação detalhada de traces