Evaluar tus flujos de trabajo

Prácticas para evaluaciones que prueban que un flujo de trabajo y sus agentes hacen lo que esperas, antes de implementar y después de cada cambio.

Un agente de IA puede responder de forma diferente cada vez que se ejecuta, incluso con la misma entrada. Las evaluaciones son la forma de demostrar que un flujo de trabajo sigue haciendo lo que debe: lo ejecutas en entradas de muestra con los resultados que esperas y los evaluadores puntúan cada uno. Estas prácticas hacen que las evaluaciones valga la pena. Evaluaciones describe cómo configurarlas.

Comenzar desde ejecuciones reales

La forma más rápida de crear un conjunto de datos es a partir de ejecuciones que ya se han producido. En el seguimiento de ejecución de una ejecución de depuración, selecciona Añadir a evaluaciones para convertir la entrada y la salida de la ejecución en un punto de datos. Cuando la salida sea correcta, manténgala como el resultado esperado. Cuando estaba mal, corrígelo primero.

Pruebe todo el flujo de trabajo primero

Un conjunto de datos prueba todo el flujo de trabajo o un solo nodo agente:

• Todo el flujo de trabajo comprueba lo que obtiene un usuario, desde el desencadenador hasta el final. Comience aquí.
• Un solo nodo de agente ayuda cuando cambias las instrucciones o el modelo de ese agente y quieres ver el efecto de forma aislada.

Un conjunto de datos de flujo de trabajo completo comienza a partir de un desencadenador, y su punto de entrada es el ID de nodo del desencadenador, por ejemplo, manualTrigger1 en Studio Web o start en Studio Desktop. Comprueba el ID en la pestaña Avanzado del desencadenador.

Elija el evaluador para lo que comprueba

Qué desea comprobar	Tipo de evaluador
Un valor fijo, como un estado de pedido o una categoría	Validación de salida, como Coincidencia exacta o Contiene texto
Que la respuesta signifique lo correcto, incluso cuando la redacción sea diferente	juez de modelo lingüístico de gran tamaño (LLM), como Salida de juez de LLM
Cómo llegó allí el agente, por ejemplo, qué herramientas llamó y en qué orden	LLM Judge Trayectory, o los evaluadores de llamada de herramienta

Las comprobaciones fijas son más baratas y siempre dan la misma puntuación, así que utilízalas cuando el resultado esperado sea exacto. Utilice un juez de LLM donde varias respuestas pueden ser correctas.

Cubre más del caso esperado

• Añade casos límite y fallos. Incluye las entradas que deben rechazarse, las incompletas y las inusuales. Ahí es donde los agentes se equivocan.
• Utiliza datos reales, no marcadores de posición. Una comprobación que transmite el texto del marcador de posición no prueba nada, porque el agente nunca vio una entrada real.
• Pruebe con el tamaño más grande que permita. Incluye la entrada más grande que debe aceptar el flujo de trabajo, no solo la típica.

Ejecútalos en los momentos adecuados

• Antes de implementar. Retén la versión hasta que pasen las evaluaciones.
• Después de cada cambio en las instrucciones de un agente, su modelo o sus herramientas. Un cambio que mejora un caso puede interrumpir otro.

Próximos pasos

• Evaluaciones: conjuntos de datos, evaluadores y ejecuciones de evaluación.
• Salida simulada: reemplaza la salida de un nodo con datos de muestra en una ejecución de depuración.
• Conceptos básicos de depuración: lee una ejecución y encuentra qué salió mal.
• Comunidad: haz preguntas y comparte flujos de trabajo con otros constructores en UiPath Forum.