Evaluaciones

Set up evaluations for a workflow: datasets, evaluation targets, and evaluators, then run them and use the results during development.

Las evaluaciones son comprobaciones de calidad automatizadas en la salida de un flujo de trabajo. Los resultados esperados se agrupan en un conjunto de datos, y cada ejecución es puntuada por los evaluadores adjuntos a ella. Las pestañas Conjuntos de datos, Evaluadores y Ejecuciones de evaluación del panel de ejecución contienen las tres partes.

Conceptos

• Conjunto de datos: una colección con nombre de puntos de datos que comparten un objetivo de evaluación y un conjunto de evaluadores. Un conjunto de datos enumera su destino de evaluación, sus evaluadores y su número de elementos.
• Punto de datos: un solo caso, compuesto por valores de entrada y la salida esperada para esas entradas. Un punto de datos puede escribirse a mano o capturarse de una ejecución real, como se describe en Capturar un punto de datos de una ejecución .
• Evaluador: una comprobación que compara la salida real con la salida esperada y produce una puntuación. Un evaluador booleano informa de que se aprobó o falló.
• Ejecución de evaluación: una ejecución de un conjunto de datos, que puntúa cada punto de datos con los evaluadores seleccionados.
• Puntuación: el resultado que informa un evaluador para un punto de datos.

Objetivos de evaluación

Un conjunto de datos tiene un destino de evaluación, que es todo el flujo de trabajo o un solo nodo:

• Todo el proceso: prueba la ruta de principio a fin. Es el destino recomendado. El conjunto de datos nombra un punto de entrada, un desencadenador como Desencadenador manual, y cada punto de datos proporciona las entradas del desencadenador y la salida esperada del flujo de trabajo.
• Nodo de agente: prueba un nodo de agente de forma aislada.
• Procesamiento de documentos: evalúa un nodo de procesamiento de documentos.

Los destinos de nodo no están disponibles en un flujo de trabajo que no tiene nodos de agente o nodos de procesamiento de documentos. Un solo conjunto de datos no puede mezclar objetivos.

Evaluadores

El botón Nuevo evaluador de la pestaña Evaluadores enumera los tipos de evaluadores en tres grupos. Cada tipo está etiquetado como Flujo, para un destino de flujo de trabajo completo, o Agente, para un destino de nodo de agente, o ambos.

Validación de salida

Estos evaluadores comparan la salida con la salida esperada exactamente, sin ningún modelo de IA involucrado. Admiten destinos de flujo de trabajo completo y nodo de agente.

• Contiene texto: pasa cuando la salida contiene el texto dado.
• Coincidencia exacta: pasa cuando la salida es una coincidencia exacta.
• Similitud de JSON: pasa cuando las estructuras JSON son similares.

Juez de LLM

Estos evaluadores utilizan un modelo lingüístico de gran tamaño (LLM) para juzgar la salida en comparación con la salida esperada. Admiten destinos de flujo de trabajo completo y nodo de agente.

• Salida de juez de LLM: un modelo de IA juzga si la salida coincide semánticamente con la salida esperada.
• LLM Judge Strict JSON: un modelo de IA juzga una coincidencia estructural JSON estricta.
• Trayectoria de juez de LLM: un modelo de IA juzga si la ejecución siguió el comportamiento esperado, que son los pasos tomados durante la ejecución.
• Simulación de evaluación de LLM: un modelo de IA juzga la ruta de la ejecución simulada.

Llamada de herramienta

Estos evaluadores comprueban cómo un agente llamó a sus herramientas. Solo admiten destinos de nodo de agente.

• Argumentos de llamada de herramienta: comprueba que las herramientas se llamaron con los argumentos correctos.
• Recuento de llamadas de herramienta: comprueba el número de veces que se ha llamado a cada herramienta.
• Orden de llamada de herramientas: comprueba que las herramientas se llamaron en la secuencia correcta.
• Salida de llamada de herramienta: comprueba que las salidas de la herramienta coinciden con los valores esperados.

Crear un conjunto de datos

El menú Añadir en la pestaña Conjuntos de datos tiene tres entradas: Añadir conjunto de datos, Importar conjunto de datos y Añadir punto de datos a través del asistente.

El panel Añadir conjunto de datos solicita un nombre y una descripción opcional, un objetivo de evaluación y, para un objetivo de todo el proceso, el punto de entrada. También enumera los evaluadores, cada uno con una alternancia: LLM Judge Trayectory, Exact Match y LLM Judge Evaluator. Una sección de simulaciones predeterminadas establece los valores predeterminados que hereda cada punto de datos, y un punto de datos individual puede anularlos.

El asistente Añadir un punto de datos para evaluación tiene cuatro pasos: Qué evaluar, Entrada de escenario, Simulaciones y Criterios de evaluación. Los cuatro pasos son:

1. Qué evaluar: el destino, un nombre de punto de datos opcional, que se genera cuando se deja en blanco, y el conjunto de datos al que añadir el punto de datos.
2. Entrada de escenario: la entrada que el desencadenador envía al flujo de trabajo, con un campo para cada entrada del desencadenador, en una vista JSON o Visual . El icono con destellos, Generar con IA, abre un cuadro de Instrucciones y Generar crea la entrada a partir de las instrucciones.
3. Simulaciones: anula las salidas de los nodos seleccionados durante la ejecución de la evaluación. Cada nodo tiene una casilla de verificación y un tipo simulado, como Simulacro estático, la misma opción que genera ofertas simuladas en un nodo, con los valores de salida que reemplazan la salida real del nodo. El paso dice que las anulaciones utilizan instrucciones LLM o simulaciones basadas en reglas.
4. Criterios de evaluación: los evaluadores habilitados y cómo cada uno puntúa este punto de datos. Para un juez de LLM como Trayectoria de juez de LLM, un campo de texto describe el comportamiento esperado. Una casilla de verificación Iniciar evaluación ejecuta la evaluación cuando se añade el punto de datos.

Configurar un evaluador

La pestaña Evaluadores enumera los evaluadores y tiene un botón Nuevo evaluador . Cada evaluador tiene un nombre, una descripción y una clave de salida de destino, que es * para todas las salidas del flujo de trabajo o la salida de un nodo, como httpRequest1.

• Coincidencia exacta tiene un conmutador Distingue entre mayúsculas y minúsculas y un conmutador Negado . Cuando se niega, la evaluación pasa si las salidas no coinciden. Sus criterios de evaluación predeterminados contienen la salida esperada, que se introduce en una vista JSON o Visual . Si se establece una clave de salida de destino, el valor esperado se anida bajo esa clave.
• LLM Judge Evaluator tiene un modelo, como anthropic.claude-sonnet-5 y una solicitud que pide al modelo que califique la similitud de la salida y que explique la puntuación. Su configuración también incluye una sección de Configuración avanzada .

Ejecutar una evaluación

El botón Ejecutar evaluación abre el panel Configurar ejecución de evaluación . El panel solicita el conjunto de datos, un filtro opcional por etiquetas y los evaluadores que se utilizarán. La configuración de ejecución contiene un nombre de ejecución opcional, un tamaño de lote (10 de forma predeterminada) y un tiempo de espera (20 minutos de forma predeterminada). Guardar y ejecutar inicia la ejecución.

Ciclo de vida del conjunto de datos

Un conjunto de datos se crea en torno a un objetivo de evaluación, puntos de datos y evaluadores. El destino es un solo nodo o todo el flujo de trabajo, introducido a través de un desencadenador. Cada punto de datos proporciona valores de entrada y la salida esperada, y cada evaluador define cómo se puntúa el resultado de la ejecución.

Cuando se ejecuta un conjunto de datos, el destino se ejecuta para cada punto de datos y las puntuaciones por evaluador aparecen en la pestaña Ejecuciones de evaluación .

Capturar un punto de datos de una ejecución

No es necesario escribir un punto de datos a mano. La flecha junto al icono Ejecutar evaluación en la barra de herramientas inferior abre Añadir punto de datos, que inicia el mismo asistente. El botón Añadir a evaluaciones en los detalles de una ejecución de depuración, y el icono de matraz en cada fila de la lista Ejecuciones de depuración , capturan esa ejecución, y sus entradas y salidas se convierten en la entrada y la salida esperada del punto de datos. La captura de una ejecución genera un conjunto de datos a partir del comportamiento real que ya se ha observado.

Utilizar evaluaciones en desarrollo

Las evaluaciones son más útiles en estas situaciones:

• Un flujo de trabajo invoca agentes de IA y la salida del agente debe cumplir con las expectativas de calidad antes de la implementación.
• Se necesita cobertura de regresión: ejecutar evaluaciones después de cada cambio confirma que el comportamiento existente no se ha roto.
• Se están comparando dos implementaciones alternativas ejecutando evaluaciones en dos versiones del mismo flujo de trabajo.

Resultados de la evaluación

Los resultados se almacenan en la pestaña Ejecuciones de evaluación , que muestra "Aún no hay ejecuciones de evaluación" hasta que se haya ejecutado un conjunto de datos, y pueden revisarse en cualquier momento. Cada ejecución es una fila con su número de ejecución, el conjunto de datos, el estado (por ejemplo Completado o un recuento de progreso como 0/1 mientras la ejecución está en curso), el número de puntos de datos, la puntuación de cada evaluador como porcentaje, la hora de inicio y la duración. Un campo de búsqueda, un filtro y un selector de columnas se encuentran encima de la tabla, y Ejecutar evaluación inicia una nueva ejecución. La columna Acciones de una ejecución tiene un botón de reproducción, Iniciar una nueva ejecución desde esta y un menú de tres puntos. Cada ejecución muestra las puntuaciones por evaluador, los resultados de los puntos de datos individuales y los valores reales y esperados para cada punto de datos.

Ejemplo práctico

Un flujo de trabajo utiliza un agente de IA para clasificar los correos electrónicos de atención al cliente. Antes de la implementación, se configura un conjunto de datos con 10 puntos de datos:

• 5 correos electrónicos que deben clasificarse como "billing"
• 3 correos electrónicos que deben clasificarse como "technical"
• 2 casos límite (correos electrónicos ambiguos)

Cada punto de datos define el valor de salida classification esperado. Un evaluador de coincidencia exacta en la clasificación puntúa cada resultado, y la ejecución de evaluación muestra en qué casos se equivocó el agente antes de que el flujo de trabajo pase a producción.

Errores comunes

• Ejecutar un conjunto de datos solo una vez: los conjuntos de datos son más útiles después de cada cambio significativo en un flujo de trabajo que invoca un agente de IA. El comportamiento del agente puede cambiar a medida que se actualizan los modelos, incluso si el flujo de trabajo no ha cambiado.
• Escribir puntos de datos solo para el caso esperado: las evaluaciones son más valiosas para los casos límite y los modos de fallo. Los puntos de datos sólidos incluyen entradas que son ambiguas, mal formadas o en el límite del rango esperado.
• Tratar una puntuación de aprobación total como una razón para detener la prueba: tres puntos de datos aprobados no son de confianza. Los conjuntos más grandes, especialmente los que reflejan entradas de producción reales, proporcionan una cobertura más sólida.

Próximos pasos

• Salida simulada: salidas de nodo fijo para ejecuciones de depuración.
• Supervisar ejecuciones: historial de ejecución y seguimiento de cada ejecución.
• Nodo de agente autónomo: el nodo que ejecuta un agente de IA.
• Añadir un agente de IA a un flujo de trabajo: una guía de compilación que ejecuta un agente en un flujo de trabajo.
• Comunidad: haz preguntas y comparte flujos de trabajo con otros constructores en UiPath Forum.