- Primeros pasos
- Instalación
- Requisitos previos
- Instalación de ScreenPlay
- Mejores prácticas
- Recopilación de datos
- Ejecutar e inspeccionar los resultados de la ejecución
- Seguridad de variables de ScreenPlay
- Limitaciones conocidas
Guía del usuario de ScreenPlay
Después de configurar tu solicitud de ScreenPlay, realiza los siguientes pasos:
- Ejecuta la automatización en modo de depuración.
- Cuando finaliza la ejecución, puedes revisar cómo el agente interpretó y ejecutó tu solicitud:
- Ve a Debug y, luego, selecciona Abrir registros en Studio.
- Abre la carpeta ScreenPlay.
- Inspecciona los archivos
.htmlmás recientes.
Cada archivo HTML contiene un seguimiento de ejecución que detalla cómo el agente ScreenPlay razonó sobre la solicitud, identificó destinos de IU y ejecutó cada acción. Este seguimiento proporciona visibilidad al proceso de toma de decisiones y ayuda a validar o solucionar el comportamiento de ScreenPlay.
El archivo HTML del seguimiento de ejecución de ScreenPlay
El archivo HTML del seguimiento de ejecución de ScreenPlay proporciona un registro visual y de diagnóstico completo de una ejecución de automatización de ScreenPlay. Captura entradas de solicitudes, el razonamiento de la IA, acciones en pantalla y métricas de tiempo en un formato estructurado e interactivo.
Puedes utilizar este archivo para inspeccionar y validar cómo ScreenPlay interpretó una solicitud, qué elementos de la IU estaban orientados y cómo se ejecutó cada paso de automatización en la interfaz.
El archivo se genera automáticamente de forma predeterminada. Para cambiar esta configuración, ve a Configuración del proyecto, selecciona UIAutomation Modern y, luego, ve a ScreenPlay, donde también puedes establecer el número de días durante los que se almacenarán los archivos de seguimiento.
Información general
Cuando ejecutas una automatización de ScreenPlay, el seguimiento de ejecución se genera automáticamente como un archivo .html. Este archivo combina:
- Datos de solicitud en idioma natural.
- Instantáneas de IU paso a paso con cuadros de delimitación.
- Métricas de tiempo y tokens.
- Secciones de diagnóstico para el razonamiento y los errores.
Puedes abrir el archivo HTML en cualquier explorador web moderno para revisar o compartir la secuencia de ejecución completa.
Estructura del archivo
Todos los archivos de seguimiento de ScreenPlay tienen una estructura interna coherente con las siguientes secciones de nivel superior.
| Sección | Descripción |
|---|---|
| Encabezado | Muestra la solicitud, el ID de seguimiento y la marca de tiempo de la ejecución. |
| Métricas generales (totales generales) | Resume el tiempo total de runtime, los tiempos de procesamiento y el uso de tokens. |
| Contenedor del reproductor | Contiene el componente de reproducción visual: capturas de pantalla, resaltados y navegación de pasos. |
| Bloques de iteración | Cada iteración (paso) del razonamiento o del ciclo de ejecución del agente. Incluye capturas de pantalla, razonamiento y métricas. |
| Secciones de diagnóstico | Paneles opcionales para el razonamiento de IA, los datos de actividad y los mensajes de error. |
Campos de encabezado
Las siguientes tablas describen los campos de encabezado y los ejemplos:
| Campo | Ejemplo | Descripción |
|---|---|---|
| Prompt | create a random RPA supplier | La instrucción del idioma natural que inició la automatización. |
| Trace ID | 3b97584d-7fc0-43f6-830b-fc45c21811b3 | Un identificador exclusivo para este seguimiento de ejecución, que se utiliza como referencia o para comparaciones. |
Métricas generales
La sección Totales generales resume los datos clave de rendimiento de la ejecución.
La siguiente tabla describe las métricas generales:
| Métrica | Descripción |
|---|---|
| Duración total | El tiempo total necesario para completar la ejecución, incluye las fases de percepción, razonamiento y acción. |
| Caché / DOM / Servidor / Acciones (Descripción emergente) | Desglose del tiempo transcurrido en cada subsistema (por ejemplo, respuestas almacenadas en caché, escaneo DOM, razonamiento y acciones). |
| Total de tokens | Realiza un seguimiento de la entrada/salida del token si el seguimiento incluye el razonamiento del modelo de idioma de IA.Útil para depurar el uso de LLM. |
Marcos de pasos
Cada paso de ejecución o iteración representa una iteración de razonamiento y acción del agente de ScreenPlay.
La siguiente tabla describe cada elemento y su propósito.
| Elemento | Propósito |
|---|---|
| Número de paso (data-step="1") | Identifica el orden de secuencia del paso. |
| Captura de pantalla | Una imagen capturada de la ventana de la aplicación o del escritorio en el momento de la ejecución. |
| Coordenadas del lienzo (data-coordinates) | Cuadros de delimitación codificados en JSON para elementos detectados o con los que se ha interactuado. |
| Encabezado de iteración | Muestra el título del paso, la vista previa del razonamiento y el resumen de la duración. |
| Contenido de la iteración | Contiene más detalles, incluido el texto del razonamiento y los metadatos de la ejecución. |
Secciones de diagnóstico
Cada iteración puede incluir una o más secciones ampliables, tal como se describe en la siguiente tabla:
| Nombre de sección | Propósito |
|---|---|
| Pensando | Muestra el razonamiento de la IA y la interpretación de intención (si el razonamiento está habilitado). |
| Info del paso | Muestra información contextual sobre el elemento de destino, el selector o el control de IU detectado. |
| Error | Indica un fallo con señales visuales en rojo; incluye mensajes de error, seguimientos de excepciones o acciones alternativas. |
| Datos de actividad | Muestra datos de ejecución estructurados, incluido el tipo de actividad, argumentos y aplicaciones dirigidas. |
Controles del visor de capturas de pantalla y del reproductor
Los seguimientos de ScreenPlay incluyen un reproductor integrado para navegar por cada marco capturado.
La siguiente tabla describe cada control.
| Control | Descripción |
|---|---|
| Botones Siguiente / Anterior | Navega entre pasos secuenciales. |
| Control deslizante de intervalo de pasos | Saltar directamente a un paso de la secuencia. |
| Mostrar u ocultar resultados | Superpone cuadros de delimitación definidos en el campo data-coordinates para visualizar las áreas en las que se ha hecho clic o se han escrito. |
| Contenedor de capturas de pantalla | Muestra la imagen renderizada o el marcador de posición si no hay ninguna imagen disponible. |
Superposiciones visuales
Cada paso puede incluir superposiciones que indican los siguientes tipos de interacciones en la UI:
- Clic – rectángulo dibujado sobre un botón o área en la que se puede hacer clic.
- Escribir – resalta alrededor de los campos de entrada.
- Mantener el puntero/arrastrar – contorno que muestra el movimiento o la posición del cursor.
- Marcador de error: superposición roja en una acción de elemento que ha fallado.