Elegir el mejor modelo para tu agente

La selección del modelo correcto define cómo se comporta tu agente en escenarios reales. El modelo influye en la precisión, la estabilidad, la velocidad y el coste.

Elegir un modelo para un agente es un proceso iterativo, no una decisión única. Eliges un modelo inicial durante el diseño para poder crear y probar el agente y, más tarde, refinas esa elección una vez que las evaluaciones muestren cómo se comportan los diferentes modelos con tus solicitudes, herramientas, pruebas, datos y escenarios de fallo. Las evaluaciones suelen mostrar que un modelo de menor coste cumple con los mismos requisitos de calidad que una opción más cara, o que un modelo diferente se comporta de forma más fiable en casos de límite específicos.

Esta sección te ayuda a comprender la configuración del modelo, aplicar las mejores prácticas y ejecutar los pasos necesarios para elegir el modelo más efectivo y rentable para tu caso de uso.

Comprende la configuración del modelo

La configuración del modelo controla cómo el modelo de IA subyacente produce salidas. Dos ajustes son los que más influyen en el rendimiento del agente: modelo y temperatura.

La elección del modelo afecta a la capacidad, la latencia, el coste y las fortalezas especializadas. Diferentes modelos sobresalen en tareas como el razonamiento, la codificación o el resumen. Para comprender cuál se ajusta a la carga de trabajo de tu agente, ejecuta evaluaciones que comparen cómo se comportan los modelos con tus solicitudes y escenarios reales, como se describe en las siguientes secciones.

La temperatura controla la aleatoriedad y la creatividad de las respuestas del modelo. Los rangos típicos incluyen:

• Temperatura baja (0,0 - 0,3): respuestas más deterministas y enfocadas, mejores para tareas fácticas.
• Temperatura media (0,4 - 0,7): creatividad y coherencia equilibradas, buena para la mayoría de los agentes conversacionales.
• Temperatura alta (0,8 - 2,0): respuestas más creativas y diversas, mejor para la escritura creativa.

Comienza con un modelo inicial durante el diseño

Durante el diseño, selecciona un modelo que se ajuste en términos generales a la carga de trabajo de tu agente. Este modelo inicial sirve como la base de referencia que utilizas para crear solicitudes, integrar herramientas y probar flujos. Como práctica recomendada, te aconsejamos que comiences con un modelo de propósito general o de menor coste y que vuelvas a considerar esta opción después de las evaluaciones.

Para obtener la lista completa de modelos admitidos en UiPath Automation Cloud y su disponibilidad regional, consulta Disponibilidad y enrutamiento del modelo.

Nota:

La disponibilidad del modelo depende de tu tipo de organización. Las organizaciones Enterprise y Enterprise de prueba pueden seleccionar entre varios modelos admitidos y configurar integraciones de tipo Trae tu propio modelo.Las organizaciones Community tienen acceso a un solo modelo ofrecido de forma gratuita.

Establece la temperatura de forma conservadora

La temperatura controla cómo de deterministas o variables son las respuestas de un modelo. En la mayoría de los agentes Enterprise, la coherencia es más importante que la creatividad.

• La temperatura baja produce salidas repetibles y estables
• Una temperatura más alta aumenta la variación y la creatividad

Consejo:

Práctica recomendada: utiliza la temperatura 0.0 para la mayoría de los agentes orientados a la producción. Si aparecen incidencias de calidad, cambia el modelo o la solicitud antes de aumentar la temperatura.

La temperatura debe ajustarse con moderación y siempre validarse a través de evaluaciones.

Usa evaluaciones para validar y revisar la elección del modelo

En las evaluaciones es donde la selección del modelo se basa en la evidencia.

Primero, comienza con un agente en funcionamiento. Ejecútalo en modo de depuración con diferentes entradas en tus escenarios clave para confirmar que el flujo completo se comporta como es de esperar. Una vez que el agente funcione integralmente, crea tu conjunto de evaluación a partir de ejecuciones reales, ya sea con Añadir a conjunto de evaluación directamente desde una ejecución de depuración o descargando ejecuciones de runtime e importándolas en tu conjunto de evaluación.

Crea conjuntos de evaluación utilizando:

• Entradas de usuario típicas
• Casos límite
• Casos de fallo conocidos

Evita depender solo de casos sintéticos o generados automáticamente, que pueden sobrestimar el rendimiento del mundo real.

Configurar diferentes modelos

Ejecuta el mismo conjunto de evaluación en varios modelos y configuraciones. En esta etapa, puedes decidir si las diferencias de calidad justifican las diferencias de coste, latencia o estabilidad. Ejecutar los mismos escenarios en todas las configuraciones hace visibles estas compensaciones. Es común y de esperar que se cambie el modelo seleccionado después de revisar los resultados de la evaluación.

Para configurar y comparar diferentes configuraciones del modelo dentro de un conjunto de evaluación:

1. Desde el panel Explorador de Agent Builder, selecciona Conjuntos de evaluación.

2. Selecciona un conjunto de evaluación.

3. Selecciona el icono del engranaje para abrir Configuración de evaluación.

4. En el panel Propiedades del conjunto de evaluación, añade varias combinaciones de temperatura y modelo. Por ejemplo:

   • Temperatura 0,2, modelo A
   • Temperatura 0,5, modelo A
   • Temperatura 0,7, modelo A
   • Temperatura 0,5, modelo B

   Cada combinación crea una ejecución de evaluación independiente, lo que te permite comparar cómo los pequeños cambios de configuración afectan al comportamiento.

   

   

5. Selecciona Evaluar conjuntos para ejecutar todas las configuraciones. Después de que se completen las ejecuciones, abre la pestaña Resultados para compararlas.

   

Compara modelos y analiza los resultados

Para que las comparaciones sean justas:

• Mantén las solicitudes, las herramientas y el contexto idénticos.
• Añade varios modelos y ajustes de temperatura en el panel Propiedades del conjunto de evaluación.
• Ejecuta el mismo conjunto de evaluación para cada configuración.

Cada modelo añadido a tu conjunto de evaluación activa una nueva ejecución, y puedes revisar los resultados para cada ejecución en la tabla Resultados. Al revisar los resultados, no solo buscas la puntuación más alta, sino que decides qué compensaciones importan más para tu agente.

Revisa los resultados de la evaluación para comprender cómo se comporta cada configuración. Busca:

• Puntuaciones del evaluador: identifica qué configuraciones producen salidas precisas y de alta calidad.
• Periodo de rendimiento: compara los tiempos de respuesta entre configuraciones.

No selecciones un modelo basándote solo en una puntuación media. Al revisar los resultados de la evaluación, considera:

• Dónde y cómo se producen los fallos
• Consistencia en todos los escenarios
• Latencia y periodo de ejecución
• Coste en relación con las ganancias de calidad

Puede ser preferible un modelo de puntuación ligeramente más baja si es significativamente más barato y más estable.

Flujo de trabajo recomendado

Los siguientes pasos resumen el proceso principal descrito en esta sección. Úsalos como referencia rápida al seleccionar y refinar un modelo para tu agente:

1. Comienza con un modelo inicial durante el diseño del agente.
2. Usa una temperatura baja para dar prioridad a la coherencia.
3. Crea un agente que funcione y valida el comportamiento integral.
4. Crea conjuntos de evaluación a partir de ejecuciones de agente reales.
5. Compara varios modelos con el mismo conjunto de evaluación.
6. Selecciona el modelo de menor coste que cumpla constantemente con tu estándar de calidad.
7. Vuelve a ejecutar las evaluaciones a medida que el agente evoluciona o los nuevos modelos estén disponibles.