Evaluar el agente

Ejecuta seguimientos de evaluación localmente y revisa los resultados que fluyen en Studio Web.

Paso 8: crear pruebas de evaluación

Las evaluaciones prueban el rendimiento de tu agente en un rango de entradas, incluido si llama a tu nueva herramienta en los momentos adecuados. La habilidad uipath-agents incluye la referencia completa del marco de evaluación: tipos de evaluador, esquema de conjunto de evaluación, convenciones de estructura de directorios y mejores prácticas como usar gpt-4.1 (no mini) para evaluadores de juez de LLM. Tu agente de codificación utiliza esto para producir configuraciones de evaluador y conjuntos de prueba correctos a partir de una breve solicitud.

Pregunta a tu agente de codificación:

Create an evaluation set for the intake classifier agent with 5 test cases:

1. A clearly trivial request (e.g., deliver a letter) - no creature named, get_challenge_rating should not be called
2. A standard request (e.g., escort a caravan) - no creature named, get_challenge_rating should not be called
3. A heroic request naming a goblin (e.g., clear a goblin stronghold) - get_challenge_rating should be called exactly once, querying for a goblin, and no other creature
4. A legendary request naming a dragon (e.g., slay a dragon) - get_challenge_rating should be called exactly once, querying for a dragon, and no other creature
5. An edge case that's ambiguous on difficulty but also names no specific creature - get_challenge_rating should not be called; this tests that the agent doesn't over-call the tool just because a case is hard to classify

Use both a semantic similarity evaluator (to check the output) and a trajectory evaluator (to check whether get_challenge_rating was called, and with what search term, matching the expectations above).

Include evaluator config files in evaluations/evaluators/ and the eval set, named smoke-test.json, in evaluations/eval-sets/. Use gpt-4.1-2025-04-14 as the model in the evaluator configs. Each evaluator config must include a populated defaultEvaluationCriteria - use {"expectedOutput": {}} for the semantic evaluator and {"expectedAgentBehavior": ""} for the trajectory evaluator. Empty {} fails schema validation.

---

Paso 9: ejecutar evaluaciones

Ejecuta el conjunto de evaluación localmente:

uip codedagent eval agent evaluations/eval-sets/smoke-test.json --workers 3 --output-file eval-results.json

El marco de evaluación ejecuta cada caso de prueba a través de tu agente y puntúa los resultados.

Puntuación	Qué mide
Similitud semántica	En qué medida la salida del agente coincide con la salida esperada
Trayectoria del agente	Si el agente llamó get_challenge_rating cuando (y solo cuando) debería haber

Nota:

Trayectoria ahora significa algo aquí. Con la herramienta implementada, se esperan puntuaciones de trayectoria cercanas a 1,0 en los cinco casos: ninguna llamada de herramienta en los casos triviales, estándar y ambiguos, y exactamente una llamada de herramienta correctamente dirigida en los casos de duende y dragón. Una puntuación baja te dice que el agente llamó a la herramienta cuando no debería haberlo hecho, omitió una llamada que debería haber realizado o buscó la criatura incorrecta, no solo si el nivel final es el correcto.

Para la similitud semántica, las puntuaciones superiores a 0,8 son generalmente sólidas; espera lo mismo para la trayectoria ahora que está siguiendo algo específico. Revise eval-results.json para ver cómo se desempeñó su agente.

Después de conectarse a Studio Web en el siguiente paso, ejecutar uip codedagent eval run desde la CLI carga los resultados a Studio Web automáticamente; aparecen en la pestaña Conjuntos de evaluación en Ejecuciones.

Nota:

El botón Ejecutar evaluaciones de Studio Web no es lo mismo. Ese botón desencadena una ejecución de Cloud Robot que requiere compatibilidad con el runtime de Python, una configuración más compleja fuera del ámbito de este laboratorio. Usa uip codedagent eval run desde la CLI en su lugar; los resultados aparecen en Studio Web de cualquier manera.

---

Con los resultados de la evaluación local confirmados, estás listo para conectar el proyecto a Studio Web en la siguiente sección.