Gestionar evaluaciones de runtime (vista previa)

Valida los agentes implementados contra conjuntos de datos bajo demanda o en una programación recurrente.

Un agente que pasó sus pruebas en tiempo de diseño aún puede fallar en producción. Los modelos se actualizan, las entradas se desplazan y las herramientas a las que llama tu agente cambian sin previo aviso. Si solo evalúas antes de enviar, tus usuarios son los que encuentran estos fallos.

Las evaluaciones de runtime se ejecutan en el propio agente implementado, por lo que los resultados reflejan lo que hay en producción, no una copia en tiempo de diseño. Ejecútalos después de cada cambio y de forma programada para detectar regresiones antes de que lo hagan tus usuarios.

Para evaluar un agente mientras lo estás creando, consulta Evaluaciones.

Evaluar lo que hizo el agente, no solo la salida

Un agente puede devolver la respuesta correcta por la ruta incorrecta: llama a una herramienta que no debería tener, omite un paso que se suponía que debía tomar o realiza un bucle tres veces antes de llegar allí. Una comprobación de la salida final no detectará nada de eso, y en producción esos son los fallos que te cuestan.

Cada punto de datos es puntuado por los evaluadores vinculados a su conjunto de datos. Añades evaluadores en la vista Evaluadores . Vienen en tres categorías, y cada una detecta un tipo diferente de fallo, así que combina más de uno.

Los evaluadores de validación de salida ejecutan comprobaciones deterministas. Son baratos y dan el mismo resultado cada vez.

• Contiene texto: pasa cuando la salida contiene el texto que especificas.
• Coincidencia exacta: pasa cuando la salida coincide exactamente con la salida esperada.
• Similitud de JSON: pasa cuando la estructura JSON de la salida es similar a la esperada.

Los evaluadores de juez de LLM utilizan un LLM para puntuar la ejecución, por lo que aceptan respuestas correctas pero redactadas de forma diferente.

• Salida de evaluación de LLM: juzga si la salida coincide con la salida esperada en significado. El evaluador de juez de LLM predeterminado utiliza este tipo.
• LLM Judge Strict JSON: juzga si la salida coincide estrictamente con la estructura JSON esperada.
• Trayectoria de juez de LLM: juzga si la ejecución siguió el comportamiento esperado. Aún no se puede utilizar en ejecuciones programadas.
• Simulación de juez de LLM: juzga la ruta de ejecución de una ejecución que utiliza componentes simulados.

Los evaluadores de llamadas de herramientas comprueban cómo el agente utilizó sus herramientas.

• Argumentos de llamada de herramienta: comprueba que el agente ha llamado a las herramientas con los argumentos correctos.
• Recuento de llamadas de herramientas: comprueba cuántas veces el agente llamó a cada herramienta.
• Orden de llamada de herramientas: comprueba que el agente llamó a las herramientas en la secuencia esperada.
• Salida de llamada de herramienta: comprueba que las salidas de la herramienta coinciden con los valores esperados.

Cada resultado del evaluador viene con una puntuación y un seguimiento de ejecución completo, para que puedas ver dónde salió mal una ejecución. Los evaluadores de jueces de LLM también explican su puntuación con una justificación. Trata los resultados como una lista de tareas pendientes para mejorar tu agente: exporta tus ejecuciones y utiliza las habilidades CLI para analizarlas. Por ejemplo, puedes:

• Clasifique los fallos que más importan, para que solucione primero los problemas de mayor impacto.
• Comprueba si tus conjuntos de datos cubren todas las instrucciones de la solicitud del agente y añade puntos de datos para los que se pierden.
• Encuentra casos de uso que tu agente maneja en producción que tus conjuntos de datos aún no prueban.

Crear conjuntos de datos a partir del tráfico real

Un conjunto de datos es un conjunto de puntos de datos. Cada uno contiene las entradas que envías al agente y la salida que esperas de vuelta. Puedes escribir puntos de datos a mano, pero no es necesario. Hay otras tres fuentes, y las ejecuciones de producción son las más representativas porque incluyen entradas que no pensaste probar:

• Ejecuciones de producción. Las ejecuciones completadas de tu agente implementado pueden ir directamente a un conjunto de datos. Vale la pena añadir primero los fallos y los casos límite impares, porque esos son los casos contra los que hay que protegerse. Consulta Añadir una ejecución de producción a un conjunto de datos.
• Ejemplos generados. Utilice las habilidades de CLI para generar puntos de datos cuando necesite cobertura que el agente aún no haya visto. Consulta Agentes en la guía de Codificación de agentes.
• Tus equipos empresariales. Usa las habilidades de CLI para importar casos de prueba (JSON o CSV) de las personas que saben cómo es una respuesta correcta. Para las tareas que requieren mucho juicio, deben definir la salida esperada, la trayectoria o las rutas de escalada.

Antes de confiar en un punto de datos, revisa su salida esperada. El formulario de punto de datos coincide con los esquemas de entrada y salida esperados de tu agente, y te advierte cuando la salida esperada no coincide con las claves de la salida del agente.

Simular herramientas con efectos secundarios

Una ejecución de evaluación envía cada punto de datos a tu agente implementado. Si las herramientas del agente están activas, la ejecución las desencadena: envía el correo electrónico, escribe el registro y crea la escalada para que la maneje un humano. Si no quieres esos efectos posteriores en producción, simula cada herramienta y escalada que cambie algo fuera del agente. Esto incluye pasos de intervención humana (HITL), por lo que una evaluación no pone trabajo en la cola de una persona.

Cada componente simulado comienza con su esquema de salida rellenado. Puedes simularlo de dos maneras:

• Simulacro estático. El componente devuelve la misma respuesta en cada ejecución, por ejemplo, un paso HITL que siempre aprueba, o una herramienta que siempre devuelve el mismo resultado. Los simulacros son precisos y baratos, así que utilízalos cuando una respuesta fija sea suficiente.
• Respuesta generada. Describes la respuesta que quieres que vea el agente, y se genera una nueva cada vez que se ejecuta la evaluación. Utilízalo cuando el agente necesite gestionar respuestas variadas.

Ejecutar en cada cambio y en una programación

Puedes iniciar una ejecución de evaluación bajo demanda o desde una programación.

• Bajo demanda: ejecuta tus conjuntos de datos después de cada cambio en algo de lo que depende el agente, como el modelo, la solicitud, una herramienta o un sistema conectado, para detectar una regresión antes de que se propague. Utiliza los mismos conjuntos de datos en tiempo de diseño y en tiempo de ejecución, y ejecútalos primero en tiempo de diseño.
• Según una programación: una ejecución recurrente detecta deriva. La frecuencia correcta depende de lo rápido que cambien tus entradas y dependencias. Un agente de alto volumen que toca sistemas cambiantes necesita una cadencia más estricta que uno que no lo hace.

Programar una evaluación

Una programación ejecuta un conjunto de datos completo. Para crear uno:

1. En Gestión de instancias de agente, selecciona Agentes.
2. Selecciona el agente implementado.
3. Selecciona la pestaña Evaluaciones .
4. En la vista Programaciones , selecciona Nueva programación.
5. Establece la fecha de inicio y la fecha de finalización. Los horarios se muestran en tu zona horaria local.
6. Establece la periodicidad, es decir, la frecuencia con la que se ejecuta el conjunto de datos.
7. Elige el conjunto de datos que se va a ejecutar. El primer conjunto de datos del agente se selecciona de forma predeterminada.
8. Guarda la programación.

Cada ejecución programada utiliza el conjunto de datos tal como está cuando se inicia la ejecución. Si añades, editas o eliminas puntos de datos, la siguiente ejecución recoge los cambios automáticamente, por lo que no necesitas reprogramar.

Después de crear una programación, puedes pausarla y reanudarla, cambiar la frecuencia de ejecución o eliminarla. La vista Programaciones enumera solo las programaciones en la carpeta del agente implementado.

Leer los resultados

Abra una ejecución en la vista Ejecuciones de evaluación para ver:

• El estado de la ejecución y la puntuación general
• Cuántos puntos de datos pasados
• El estado y la puntuación de cada punto de datos

Una puntuación general te dice si algo ha cambiado. No te dice qué. La selección de un punto de datos muestra:

• Justificación: por qué el evaluador dio esa puntuación.
• Entrada, Salida esperada y Salida esperada frente a real: los valores del punto de datos, junto a lo que el agente realmente produjo.
• Seguimiento: lo que hizo el agente durante la ejecución. El seguimiento comienza en el intervalo de ejecución del Conjunto de evaluación e incluye la ejecución del agente, la salida del agente y un intervalo de evaluador para cada evaluador.

Cuando la puntuación de un punto de datos cae, el agente está equivocado o la salida esperada lo está. Si el agente está equivocado, se trata de una regresión. Si el resultado esperado es incorrecto, el punto de datos debe corregirse para que el conjunto de datos siga siendo fiable.

Dónde están activas las evaluaciones de runtime

Abre Registro de agente > Agentes y selecciona un agente implementado. Su pestaña Evaluaciones tiene cuatro vistas:

Ver	Para qué sirve
Conjuntos de datos	Cree y gestione puntos de datos, y vea los evaluadores vinculados de cada conjunto de datos y la última actualización.
Evaluadores	Elige cómo se puntúa cada punto de datos. Si tu agente no tiene ninguno, se crean evaluadores predeterminados y el conjunto de datos predeterminado se vincula solo al LLM Judge Evaluator.
Ejecuciones de evaluación	Revisa las ejecuciones anteriores, incluidas las puntuaciones y los seguimientos.
Programaciones	Ejecuta conjuntos de datos de forma recurrente.

Lo que puedes hacer en la pestaña Evaluaciones depende de tus permisos en la carpeta del agente implementado. Sin ellas, las acciones de edición y ejecución están ocultas o no disponibles, y la pestaña es de solo lectura.

Las evaluaciones de runtime se almacenan por separado del paquete del agente. Puedes cambiar los conjuntos de datos, los puntos de datos y los evaluadores sin volver a publicar el agente. Los archivos adjuntos a los puntos de datos se encuentran en depósitos de almacenamiento de Orchestrator, y se gestionan desde la pestaña Evaluaciones , no desde la página Depósitos de Orchestrator.

Añadir una ejecución de producción a un conjunto de datos

Puedes convertir una ejecución completada de tu agente implementado en un punto de datos. La salida de la ejecución se convierte en la salida esperada del punto de datos, así que comprueba que es correcta antes de añadirla. Una respuesta incorrecta guardada aquí se convierte en la respuesta con la que se puntúan las ejecuciones futuras.

Antes de comenzar

• Crea al menos un conjunto de datos en la vista Conjuntos de datos de la pestaña Evaluaciones .
• Asegúrese de que el agente tenga al menos una ejecución completada.

Pasos

1. En Gestión de instancias de agente, selecciona Agentes.
2. Selecciona el agente implementado.
3. Selecciona la pestaña Ejecuciones de revisión .
4. En la fila de la ejecución, selecciona el icono en la columna Añadir al conjunto de datos . Si el cuadro de diálogo de comentarios de la ejecución está abierto, selecciona Añadir al conjunto de datos allí en su lugar.
5. En Conjunto de datos, elige un conjunto de datos. El primero se selecciona de forma predeterminada.
6. Opcionalmente, introduce un Nombre del punto de datos. Si lo dejas en blanco, el punto de datos recibe el nombre del seguimiento, por ejemplo Trace 083869d6.
7. Revisa los valores de Entrada y Salida esperada .
8. Selecciona Añadir punto de datos.

Un mensaje de confirmación nombra el conjunto de datos y el punto de datos aparece en él en la pestaña Evaluaciones .

Limitaciones

• Las ejecuciones programadas aún no son compatibles con el evaluador de trayectoria de juez de LLM .
• Las evaluaciones en línea no están disponibles.
• Las evaluaciones de runtime de Maestro no están disponibles.