Observabilidade para agentes de conversa

A observabilidade fornece insights sobre o desempenho do seu agente de conversa, a satisfação do usuário e áreas para melhoria. Use essas ferramentas para monitorar o comportamento da produção e iterar sobre o design do seu agente.

Painel

O Gerenciamento de instâncias fornece uma visualização de painel para monitorar as principais métricas e indicadores de desempenho do seu agente de conversa.

Acesso ao painel

1. Acesse o portal do UiPath Automation Cloud.
2. Navegue até Agentes > Agentes implantados.
3. Selecione seu agente de conversa.
4. Selecione a guia Painel.

Métricas disponíveis

O painel fornece visibilidade sobre:

• Métricas de uso: volume de conversa e engajamento do usuário.
• Indicadores de desempenho: uso da ferramenta e usuários ativos.
• Feedback do usuário: resumo das classificações de polegares para cima/para baixo.

Observação:

As métricas de consumo estão sendo atualizadas e estarão disponíveis em uma próxima versão.

Feedback do usuário

O feedback dos usuários ajuda a identificar áreas em que seu agente tem um bom desempenho e onde ele precisa de melhoria.

Como o feedback funciona

1. Os usuários fornecem avaliações positivas ou negativas após as respostas do agente.
2. Os usuários podem adicionar comentários explicando seu feedback.
3. O feedback é anexado ao rastreamento e pode ser revisado no Gerenciamento de instâncias.

Revisão de feedback

Acesse feedback do usuário por meio do Gerenciamento de instâncias:

1. Navegue até Agentes > Agentes implantados.
2. Selecione seu agente de conversa.
3. Acesse o menu Feedback.
4. Revise entradas de feedback com classificações e comentários dos usuários.

Use esse feedback para identificar áreas para melhoria e entender a satisfação do usuário com as respostas do agente.

Logs de rastreamento

Os logs de rastreamento fornecem registros detalhados da execução do agente, permitindo que você depure problemas e entenda o comportamento do agente.

Acessando traces

1. Em Gerenciamento de instâncias, selecione seu agente.
2. Navegue até a seção Runtime.
3. Selecione uma conversa para visualizar seu trace.

O que os traces mostram

Cada trace inclui:

• Chamadas de LLM: solicitações enviadas para o modelo e respostas recebidas.
• Invocações de ferramentas: quais ferramentas foram chamadas, com entradas e saídas.
• Informações de tempo: duração de cada etapa.
• Uso de tokens: tokens consumidos por chamada.

Uso de traces para depurar

Ao investigar problemas:

1. Localize a conversa em Gerenciamento de instâncias ou trabalhos do Orchestrator.
2. Abra o trace para ver o caminho completo da execução.
3. Identifique onde o agente se desviou do comportamento esperado.
4. Use insights para refinar sua solicitação do sistema ou configuração de ferramenta.

Iteração em seu agente

A observabilidade completa o ciclo de feedback no ciclo de vida do agente. Use insights da produção para melhorar o design do seu agente.

O processo de iteração

1. Identificar problemas: revise painéis, feedback e traces para identificar problemas.
2. Diagnosticar causas raiz: use traces para entender por que os problemas ocorrem.
3. Atualizar o design: modifique solicitações, ferramentas ou configurações do sistema.
4. Alterações de teste: crie testes de avaliação abrangendo os problemas identificados.
5. Implantar atualizações: publique o agente aprimorado.
6. Monitorar resultados: verifique melhorias por meio da observabilidade.

Melhorias comuns com base na observabilidade.

Observação	Potencial de melhoria
Feedback negativo sobre tópicos específicos	Adicione ou melhore índices de contextualização
Falhas de ferramentas	Revise a configuração da ferramenta e o tratamento de erros
Tempos de resposta longos	Otimize a seleção de ferramentas ou alterne modelos
Usuários que pedem funcionalidades indisponíveis	Atualize solicitação do sistema para definir expectativas

Auditoria e conformidade

Auditoria do AI Trust Layer

O AI Trust Layer fornece uma trilha de auditoria completa de chamadas de LLM e comportamento do agente para fins de conformidade e governança.

Acesse logs de auditoria do AITL por meio do portal do administrador para:

• Histórico completo de interações com o modelo
• Entradas e saídas
• Residência de dados e verificação de conformidade

Para obter opções detalhadas de implantação, consulte visualização de logs de auditoria.

Próximas Etapas

• Design: atualize seu agente com base em insights
• Avaliação: crie testes a partir de cenários de produção
• Traces do agente: documentação detalhada de traces
• Pontuação do agente: compreensão das pontuações de integridade do agente