Avaliando seus fluxos de trabalho

Práticas para avaliações que provam que um fluxo de trabalho e seus agentes fazem o que você espera, antes de você implantar e depois de cada alteração.

Um agente de IA pode responder de forma diferente cada vez que é executado, mesmo com a mesma entrada. As avaliações são como você prova que um fluxo de trabalho ainda faz o que deve: você o executa em entradas de amostra com os resultados que você espera, e os avaliadores pontuam cada um. Essas práticas fazem as avaliações valerem seu tempo. Avaliações descreve como configurá-las.

Iniciar com execuções reais

A maneira mais rápida de criar um conjunto de dados é a partir de execuções que já ocorreram. No Trace de execução de uma execução de depuração, selecione Adicionar para avaliações para transformar a entrada e a saída da execução em um ponto de dados. Quando a saída estiver correta, mantenha-a como o resultado esperado. Quando estiver errado, corrija primeiro.

Teste todo o fluxo de trabalho primeiro

Um conjunto de dados testa todo o fluxo de trabalho ou um único nó de agente:

• O fluxo de trabalho inteiro verifica o que um usuário recebe, do gatilho ao fim. Comece aqui.
• Um único nó de agente ajuda quando você altera as instruções ou modelo desse agente e deseja ver o efeito isoladamente.

Um conjunto de dados de fluxo de trabalho inteiro começa a partir de um gatilho, e seu ponto de entrada é o ID do nó do gatilho, por exemplo manualTrigger1 no Studio Web ou no Studio Desktop start. Verifique o ID na aba Avançado do gatilho.

Escolha o avaliador para o que você verifica

O que você quer verificar	Tipo de avaliador
Um valor fixo, como um status de pedido ou uma categoria	Validação de saída, como Correspondência Exata ou Contém Texto
Que a resposta significa a coisa certa, mesmo quando as palavras são diferentes	juiz de modelo de linguagem grande (LLM), como saída do juiz do LLM
Como o agente chegou lá, como quais ferramentas ele chama e em que ordem	Trajetória do Julgamento do LLM ou os avaliadores da chamada de ferramenta

As verificações fixas são mais barato e sempre dão a mesma pontuação; portanto, use-as onde o resultado esperado for exato. Use um juiz de LLM onde várias respostas podem estar certas.

Cobrir mais do que o esperado

• Adicione casos extremos e falhas. Inclua as entradas que devem ser rejeitadas, as incompletas e as incomuns. É aí que os agentes falham.
• Use dados reais, não espaços reservados. Uma verificação aprovada no texto do espaço reservado não mostra nada, porque o agente nunca via uma entrada real.
• Teste no maior tamanho que você permitir. Inclua a maior entrada que o fluxo de trabalho deve aceitar, não apenas a típica.

Execute-as nos momentos certos

• Antes de implantar. Aguarde a versão até que as avaliações sejam aprovadas.
• Após cada alteração nas instruções, seu modelo ou ferramentas de um agente. Uma alteração que melhora um caso pode interromper outro.

Próximas Etapas

• Avaliações: conjuntos de dados, avaliadores e execuções de avaliação.
• Simulação de saída: substitua a saída de um nó por dados de amostra em uma execução de depuração.
• Noções básicas de depuração: leia uma execução e veja o que deu errado.
• Comunidade: faça perguntas e compartilhe fluxos de trabalho com outros construtores no Fórum da UiPath.