- Primeros pasos
- Agentes de UiPath en Studio Web
- Agentes de UiPath en Agent Builder
- Agentes codificados de UiPath
Guía del usuario de agentes
Evaluaciones
Cuando diseñas un agente, el objetivo es que sea fiable: algo en lo que puedas confiar para que te dé el resultado correcto de forma consistente. Las evaluaciones te ayudan a determinar si tu agente está haciendo un buen trabajo o si necesita mejoras.
Una evaluación es un par entre una entrada y una aserción, o evaluador, realizada en la salida. El evaluador es una condición o regla definida que se utiliza para evaluar si la salida del agente cumple con la salida esperada.
Los conjuntos de evaluación son agrupaciones lógicas de evaluaciones y evaluadores.
Los resultados de evaluación son seguimientos de ejecuciones de evaluación completadas que evalúan el rendimiento de un agente. Durante estas ejecuciones, la precisión, la eficiencia y la capacidad de toma de decisiones del agente se miden y se puntúan en función del rendimiento del agente.
La puntuación de evaluación determina el rendimiento del agente en función de las aserciones en una evaluación específica. La puntuación está en una escala de 0 a 100. Si has fallado en las ejecuciones de evaluación, debes volver a ejecutarlas y depurarlas.
Antes de crear una evaluación, primero debes probar tu agente para ver si la salida es correcta o no. Si tu agente está generando la salida correcta, puedes crear evaluaciones a partir de las ejecuciones correctas. Si tu agente no genera la salida correcta, puedes crear evaluaciones desde cero.
- Después de diseñar tu agente, selecciona Probar en la nube.
-
En la ventana de Configuración de prueba, confirma los recursos utilizados en la solución y proporciona la entrada para la ejecución de prueba.
-
Selecciona Ejecutar.
Los resultados se muestran en el panel Ejecutar salida.
- Si la salida es correcta, selecciona el botón Añadir a conjunto de evaluación ahora disponible en la pestaña General.
Si la salida no es correcta, puedes:
- Refinar la solicitud: ajusta la solicitud y prueba el agente hasta que la salida sea correcta.
- Crear evaluaciones a partir de salidas incorrectas: genera evaluaciones basadas en las salidas incorrectas y edítalas manualmente para que se alineen con el resultado esperado.
-
Las ejecuciones de prueba se muestran en la ventana Añadir a conjunto de evaluación. Selecciona Añadir a conjunto predeterminado para cualquier ejecución que desees añadir a una evaluación.
Si ya has creado un conjunto de evaluación, puedes seleccionarlo de la lista desplegable disponible.
-
A continuación, ve al panel Conjuntos de evaluación y selecciona Ver detalles para el conjunto de evaluación.
-
Selecciona Evaluar conjunto para ejecutar las evaluaciones. También puedes seleccionar evaluaciones específicas a partir del conjunto que deseas evaluar.
-
Ve a la pestaña Resultados para ver la puntuación y los detalles de la evaluación.
- Después de diseñar tu agente, ve a la pestaña Conjuntos de evaluación y selecciona Crear nuevo.
También puedes seleccionar Importar para utilizar los datos JSON existentes de evaluaciones de otros agentes.
- Añade un nombre relevante para el conjunto de evaluación.
-
Selecciona Añadir al conjunto para crear nuevas evaluaciones. Para cada nueva evaluación del conjunto:
-
Añade un nombre.
-
Añade valores para los campos de Entrada (heredados de los argumentos de entrada definidos) y la Salida esperada.
-
Selecciona Guardar.
-
- A continuación, selecciona Establecer evaluadores para asignar evaluadores al conjunto de evaluación.
Puedes asignar uno o varios evaluadores a un conjunto.
-
Selecciona Guardar cambios.
-
En la página principal de Conjuntos de evaluación, selecciona Ejecutar conjunto de evaluación para cada conjunto que deseas ejecutar.
-
Ve a la pestaña Resultados para ver la puntuación y los detalles de la evaluación.
Utiliza el panel Evaluadores para crear y gestionar tus evaluadores. De forma predeterminada, cada agente tiene un Evaluador predeterminado basado en LLM.
Para crear tus propios evaluadores:
-
Selecciona Crear nuevo:
-
Selecciona el tipo de evaluador:
-
LLM como juez: similitud semántica: crea tu propio evaluador basado en LLM.
-
Coincidencia exacta: comprueba si la salida del agente coincide con la salida esperada.
-
Similitud de JSON: comprueba si dos estructuras o valores JSON son similares.
-
-
Selecciona Continuar.
-
Configura el evaluador:
-
Añade un nombre y una descripción relevantes.
-
Selecciona los Campos de salida de destino:
-
Objetivo en nivel raíz (* Todos): evalúa toda la salida.
-
Objetivo específico del campo: evalúa los campos específicos de primer nivel. Utiliza el menú desplegable para seleccionar un campo. Los campos de salida enumerados se heredan de los argumentos de salida que definiste para la solicitud del sistema.
-
-
Añade una solicitud (solo para el evaluador basado en LLM).
-
Elegir el tipo de evaluador
Si no sabes qué tipo de evaluador se adapta a tus necesidades, consulta las siguientes recomendaciones:
-
LLM-como-juez:
-
Recomendado como enfoque predeterminado cuando se orienta a la salida raíz.
-
Proporciona evaluación flexible de salidas complejas.
-
Puede evaluar la calidad y la corrección más allá de la coincidencia exacta.
-
Se recomienda usarlo al evaluar el razonamiento, las respuestas de lenguaje natural o los resultados estructurados complejos.
-
-
Determinista (coincidencia exacta o similitud de JSON):
-
Recomendado cuando se esperan coincidencias exactas.
-
Más eficaz cuando los requisitos de salida están definidos de forma estricta.
-
Funciona con objetos complejos, pero es mejor usarlo con:
-
Respuestas booleanas (verdadero/falso)
-
Valores numéricos específicos
-
Coincidencias exactas de las cadenas
-
Matrices de primitivas.
-
-
Una salida bien estructurada hace que las evaluaciones sean más fiables. Por eso es bueno tener salidas estructuradas: garantiza la coherencia y facilita las comparaciones.
Este es un ejemplo de una solicitud predefinida que evalúa toda la salida:
Como evaluador experto, analiza la similitud semántica de estos contenidos JSON para determinar una puntuación de 0 a 100. Céntrate en comparar el significado y la equivalencia contextual de los campos correspondientes, teniendo en cuenta expresiones válidas alternativas, sinónimos y variaciones razonables en el lenguaje para mantener altos estándares de precisión e integridad.Justifica tu puntuación, explicando de forma breve y concisa por qué has otorgado esa puntuación.
Salida esperada: {{ExpectedOutput}}
Salida real: {{ActualOutput}}
La puntuación del agente considera más de 30 evaluaciones como un buen punto de referencia.
Para agentes simples, procura realizar aproximadamente 30 evaluaciones en entre 1 y 3 conjuntos de evaluación.Para agentes más complejos, te recomendamos que cuentes al menos con el doble de esa cantidad o más.
El número de evaluaciones depende de:
- Complejidad del agente
- Número de parámetros de entrada
- Complejidad de la estructura de salida
- Patrones de uso de herramientas
- Ramas de decisión.
- Entrada
- Rango de posibles entradas: tipos de datos, rangos de valores, campos opcionales
- Casos límite
- Patrones de uso
- Casos de uso comunes
- Distintas personalidades
- Escenarios de error
Agrupar evaluaciones en conjuntos ayuda a organizarlas mejor. Por ejemplo, puedes tener:
- Un conjunto para una evaluación completa de salida.
- Otro para casos límite
- Otro para manejar errores ortográficos.
Principios de cobertura
- Cobertura lógica: asigna combinaciones de entrada, casos límite y condiciones de límite.
- Gestión de redundancias: procura realizar entre 3 y 5 evaluaciones diferentes por caso lógicamente equivalente.
- Calidad sobre cantidad: más evaluaciones no siempre significan mejores resultados. Concéntrate en pruebas significativas.
Crea evaluaciones una vez que los argumentos sean estables o completos. Eso también significa que tu caso de uso se ha establecido y la solicitud, las herramientas y los contextos están finalizados. Si modificas los argumentos, debes ajustar tus evaluaciones en consecuencia. Para minimizar el trabajo adicional, es mejor empezar con agentes estables que tengan casos de uso bien definidos. Puedes exportar e importar conjuntos de evaluación entre agentes dentro de la misma organización o entre diferentes organizaciones.Mientras el diseño de tu agente esté completo, puedes mover las evaluaciones según sea necesario sin tener que volver a crearlas desde cero.
