Observabilidade para agentes de conversa

A capacidade de observação fornece insights sobre o desempenho, a satisfação do usuário e as áreas de melhoria do seu agente de conversa. Use essas ferramentas para monitorar o comportamento da produção e iterar no design do seu agente.

Painel

O Gerenciamento de instância fornece uma visualização do painel para monitorar as principais métricas e indicadores de desempenho do seu agente de conversa.

Acesso ao painel

1. Acesse o portal do UiPath Automation Cloud.
2. Navegue até Agentes > Agentes implantados.
3. Selecione seu agente de conversa.
4. Selecione a aba Painel .

Métricas disponíveis

O painel fornece visibilidade para:

• Métricas de uso: volume da conversa e engajamento do usuário.
• Indicadores de desempenho: uso da ferramenta e usuários ativos.
• Feedback do usuário: resumo das avaliações de gostei/baixa.

Observação:

As métricas de consumo estão sendo atualizadas e estarão disponíveis em uma próxima versão.

Feedback do usuário

O feedback dos usuários ajuda a identificar áreas em que seu agente funciona bem e onde ele precisa de melhorias.

Como o feedback funciona

1. Os usuários fornecem Não gostei ou não após respostas do agente.
2. Opcionalmente, os usuários podem adicionar comentários explicando seu feedback.
3. O feedback é anexado ao trace e pode ser revisado no Gerenciamento de Instâncias.

Revisando o feedback

Acesse o feedback do usuário por meio do Gerenciamento de instâncias:

1. Navegue até Agentes > Agentes implantados.
2. Selecione seu agente de conversa.
3. Acesse o menu Feedback .
4. Revise as entradas de feedback com classificações e comentários dos usuários.

Use esse feedback para identificar áreas de melhoria e entender a satisfação do usuário com as respostas do agente.

Logs de rastreamento

Os registros de trace fornecem registros detalhados da execução do agente, permitindo que você depure problemas e entenda o comportamento do agente.

Acessando traces

1. No Gerenciamento de instância, selecione seu agente.
2. Navegue até a seção Runtime .
3. Selecione uma conversa para ver o trace dela.

O que os traces mostram

Cada trace inclui:

• Chamadas de LLM: prompts enviados para o modelo e respostas recebidas.
• Invocações de ferramentas: quais ferramentas foram chamadas, com entradas e saídas.
• Informação de tempo: duração de cada etapa.
• Uso de token: tokens consumidos por chamada.

Uso de traces para depuração

Ao investigar problemas:

1. Encontre a conversa nos trabalhos do Gerenciamento de instâncias ou do Orchestrator.
2. Abra o trace para ver o caminho de execução completo.
3. Identifique onde o agente se desviou do comportamento esperado.
4. Use o Insights para refinar a configuração do prompt do seu sistema ou da ferramenta.

Iterando em seu agente

A capacidade de observação completa o loop de feedback no ciclo de vida do agente. Use insights da produção para melhorar o design do seu agente.

O processo de iteração

1. Identificar problemas: revisar painéis, feedback e rastreamentos para problemas.
2. Diagnosticar causas raiz: use traces para entender por que os problemas ocorrem.
3. Atualizar design: modifique prompts, ferramentas ou configurações do sistema.
4. Alterações de teste: crie testes de avaliação abrangendo os problemas identificados.
5. Implantar atualizações: publique o agente aprimorado.
6. Monitorar resultados: verifique melhorias por meio da capacidade de observação.

Melhorias comuns baseadas na capacidade de observação

Observação	Melhoria potencial
Feedback negativo sobre tópicos específicos	Adicionar ou melhorar índices de contextualização
Falhas de ferramentas	Revise a configuração da ferramenta e o tratamento de erros
Tempos de resposta longos	Otimize a seleção de ferramentas ou troque de modelo
Usuários que solicitam funcionalidades indisponíveis	Atualizar prompt do sistema para definir expectativas

Auditoria e conformidade

Auditoria da AI Trust Layer

A AI Trust Layer fornece uma trilha de auditoria completa de chamadas de LLM e comportamento de agentes para fins de conformidade e governança.

Acesse os logs de auditoria do AITL por meio do portal do administrador para:

• Histórico completo de interações do modelo
• Entradas e saídas
• Residência de dados e verificação de conformidade

Para opções detalhadas de implantação, consulte visualização de logs de auditoria

Próximas Etapas

• Design: atualize seu agente com base no Insights
• Avaliação: criar testes a partir de cenários de produção
• Traces do agente: documentação detalhada de rastreamento
• Pontuação do agente: compreensão das pontuações de integridade do agente