Avaliar o agente

Execute traces de avaliação localmente e revise os resultados que fluem para o Studio Web.

Etapa 8 - Criar testes de avaliação

As avaliações testam o desempenho do seu agente em uma gama de entradas, incluindo se ele chama sua nova ferramenta nos momentos certos. A uipath-agents habilidade inclui a referência completa da estrutura de avaliação: tipos de avaliadores, esquema de conjunto de avaliação, convenções de estrutura de diretório e práticas recomendadas, como o uso de gpt-4.1 (não mini) para avaliadores com Julgamento via LLM. Seu agente de codificação usa isso para produzir configurações de avaliador e conjuntos de testes corretos a partir de uma breve solicitação.

Pergunte ao seu agente de codificação:

Create an evaluation set for the intake classifier agent with 5 test cases:

1. A clearly trivial request (e.g., deliver a letter) - no creature named, get_challenge_rating should not be called
2. A standard request (e.g., escort a caravan) - no creature named, get_challenge_rating should not be called
3. A heroic request naming a goblin (e.g., clear a goblin stronghold) - get_challenge_rating should be called exactly once, querying for a goblin, and no other creature
4. A legendary request naming a dragon (e.g., slay a dragon) - get_challenge_rating should be called exactly once, querying for a dragon, and no other creature
5. An edge case that's ambiguous on difficulty but also names no specific creature - get_challenge_rating should not be called; this tests that the agent doesn't over-call the tool just because a case is hard to classify

Use both a semantic similarity evaluator (to check the output) and a trajectory evaluator (to check whether get_challenge_rating was called, and with what search term, matching the expectations above).

Include evaluator config files in evaluations/evaluators/ and the eval set, named smoke-test.json, in evaluations/eval-sets/. Use gpt-4.1-2025-04-14 as the model in the evaluator configs. Each evaluator config must include a populated defaultEvaluationCriteria - use {"expectedOutput": {}} for the semantic evaluator and {"expectedAgentBehavior": ""} for the trajectory evaluator. Empty {} fails schema validation.

---

Etapa 9 - Executar avaliações

Execute o conjunto de avaliação localmente:

uip codedagent eval agent evaluations/eval-sets/smoke-test.json --workers 3 --output-file eval-results.json

A estrutura de avaliação executa cada caso de teste por meio do seu agente e pontua os resultados.

Pontuação	O que ele mede
Similaridade semântica	O grau de semelhança da saída do agente com a saída esperada
Trajetória do agente	Se o agente chamado get_challenge_rating quando (e apenas quando) deveria ter

Observação:

A trajetória agora significa algo aqui. Com a ferramenta implementada, espere pontuações próximas a 1.0 em todos os cinco casos: nenhuma chamada de ferramenta nos casos triviais, padrão e ambíguos, e exatamente uma chamada de ferramenta direcionada corretamente nos casos de Goblin e definir. Uma pontuação baixa diz que o agente chamado a ferramenta quando não deveria, ignorou uma chamada que deveria ter feito ou pesquisou a criação errada, não apenas se o nível final estiver correto.

Para similaridade semântica, as pontuações acima de 0,8 são geralmente sólidas; espere o mesmo para a trajetória agora que está rastreando algo específico. Revise eval-results.json para ver como foi o desempenho do seu agente.

Depois de se conectar ao Studio Web na próxima etapa, a execução de uip codedagent eval run a partir da CLI carrega os resultados para o Studio Web automaticamente; eles aparecem na aba Conjuntos de avaliação em Execuções.

Observação:

O botão Avaliações do Studio Web Run não é a mesma coisa. Esse botão dispara uma execução de robô na nuvem que requer suporte para runtime do Python — uma configuração mais envolvida fora do escopo deste laboratório. Em vez disso, use uip codedagent eval run a partir da CLI; os resultados aparecem no Studio Web de qualquer maneira.

---

Com os resultados da avaliação local confirmados, você está pronto para conectar o projeto ao Studio Web na próxima seção.