Configurar simulaciones para herramientas de agente

Nota: esta característica está disponible en vista previa.

Las simulaciones de herramientas permiten a los agentes probar el comportamiento utilizando entradas y salidas sintéticas en lugar de llamadas a la API reales, lo que permite un desarrollo seguro, rápido y reproducible. Las simulaciones, definidas en tiempo de diseño, utilizan entradas/salidas JSON de ejemplo para imitar interacciones realistas mientras se conservan las barreras de protección y las restricciones de ejecución.

Cómo configurar simulaciones de herramientas

Al añadir una herramienta a tu agente, puedes elegir cómo el agente interactúa con ella:

• Simula la llamada a la herramienta: el agente utiliza entrada/salida sintética generada por el motor de simulación (sin llamadas a la API reales).
• Llama a la herramienta real: el agente realiza solicitudes de API en vivo según la configuración.

Esta configuración se define en el tiempo de diseño y persiste automáticamente en las ejecuciones de tiempo de evaluación.

Para configurar la configuración de simulación para una herramienta:

1. Añade la herramienta a tu definición de agente.
2. Selecciona el nodo de la herramienta en el lienzo del agente.
3. En el panel de propiedades, localiza la sección Configuración de simulación.
4. Introduce valores de entrada y salida de ejemplo en formato JSON. Estos ejemplos ayudan a la simulación LLM a imitar interacciones realistas de la herramienta al ajustarse al esquema y la lógica esperados de tu herramienta.
5. (Opcional) Añade varios ejemplos para mejorar la variedad de la simulación. Proporcionar ejemplos ayuda a mejorar la precisión y la relevancia de las salidas simuladas durante las pruebas.

También puedes configurar simulaciones al configurar las evaluaciones. Para obtener más información, consulta Configurar simulaciones en evaluaciones.

Figura 1. Añadir una entrada de ejemplo para una simulación de herramienta

Barreras y comportamiento de ejecución en modo de simulación

Las ejecuciones de herramientas simuladas siguen existiendo con las barreras de herramientas y las restricciones de ejecución existentes, al igual que las ejecuciones reales. Esto garantiza:

• El comportamiento simulado refleja las condiciones de seguridad del mundo real.
• Los agentes no pueden eludir las restricciones de aplicación o invocación de políticas durante las pruebas.

Las ejecuciones de simulación están etiquetadas de forma transparente y son fáciles de inspeccionar, con los siguientes comportamientos integrados:

• Etiquetado de seguimiento: cada simulación está claramente marcada tanto en la vista de ejecución de transmisión como en los registros de seguimiento persistentes.
• Metadatos únicos: cada seguimiento simulado incluye metadatos que lo identifican como simulado, lo que permite:

  • Depuración fácil

  • Filtrado fiable
  • Clasificación de ejecución precisa

Esto garantiza que puedas diferenciar el comportamiento simulado del real, realizar el seguimiento de la lógica del agente y reproducir resultados de forma coherente.

Puedes añadir fácilmente ejecuciones simuladas a los conjuntos de evaluación, lo que ayuda a expandir la cobertura de la prueba sin llamar a puntos finales reales. Las características clave de esta función incluyen:

• Las ejecuciones simuladas se marcan claramente como Simuladas dentro de los conjuntos de evaluación.

• Sus seguimientos correspondientes conservan la etiqueta de simulación en todo momento.

• Los conjuntos de evaluación pueden contener una combinación de ejecuciones reales y simuladas, lo que permite pruebas comparativas y una validación de escenarios más amplios.

Configuración de prueba con simulaciones

También puedes configurar simulaciones cuando inicias ejecuciones de prueba utilizando el panel de configuración de prueba.

Para habilitar simulaciones en la configuración de prueba:

1. Finaliza la definición de tu agente y la configuración de la evaluación.
2. Selecciona el menú desplegable Prueba en la nube.
3. Selecciona Configuración de prueba.
4. En el panel Configuración de prueba, selecciona la pestaña Argumentos del proyecto. Aquí puedes:
   • Genera datos de entrada para tu ejecución de prueba.
   • Habilita el modo de simulación para las herramientas y/o escaladas seleccionadas.
   • Proporciona ejemplos de entrada/salida o instrucciones de simulación que definan cómo deben comportarse las herramientas.
5. Inicia la prueba para simular la trayectoria del agente utilizando la configuración proporcionada.

Figura 2. Configurar simulaciones de herramientas en la ventana Configuración de prueba

Independientemente de dónde se inician las simulaciones (evaluaciones o configuraciones de prueba), todas las simulaciones se ejecutan:

• Están claramente etiquetados en los registros de seguimiento de transmisión y persistentes.
• Conserva los metadatos para distinguirlos de las ejecuciones reales.
• Mantén las mismas barreras de protección y lógica de validación de herramientas que las ejecuciones de herramientas reales.
• Son completamente trazables, lo que te ayuda a depurar con confianza y a evitar confusión en las pruebas.