ScreenPlay

UiPath.Semantic.Activities.NUITask

Descripción

ScreenPlay es el agente de automatización de próxima generación de UiPath®, diseñado para llevar el comportamiento agéntico y las capacidades cognitivas al escritorio. ScreenPlay interactúa con las aplicaciones de forma muy similar a como lo haría un humano: navegando por las interfaces, adaptándose a los cambios y gestionando tareas complejas que antes eran inviables con los métodos de automatización tradicionales.

Para obtener más información, consulta ScreenPlay.

Esta actividad debe añadirse dentro de una actividad Usar aplicación/navegador.

Compatibilidad de proyectos

Windows | Multiplataforma

Configuración

• Tarea : solicitud que describe la tarea de IU que se va a realizar, con la capacidad de:

  • Utilizar variables.
  • Añadir imagen desde la pantalla (en línea con el texto).
  • Ver el último seguimiento de ejecución. Para obtener más información, consulta Ejecutar e inspeccionar los resultados de la ejecución.

• Modelo : indica el LLM subyacente utilizado por ScreenPlay para la planificación y el razonamiento de la ejecución de tareas. Las siguientes opciones están disponibles: UiPath Screen Agent (con Gemini 2.5 Flash)

  • Modelo básico
  • Funciona mejor en navegadores
  • Utiliza una implementación patentada basada en el DOM de la página, utilizando Gemini Flash para el razonamiento y la comprensión de imágenes
  • Moderadamente rápido

  Agente de pantalla de UiPath (con GPT - 4.1)

  • Modelo estándar: para tareas complejas
  • Funciona mejor en navegadores
  • Utiliza una implementación patentada basada en el DOM de la página y la comprensión de imágenes, utilizando GPT-4.1 para el razonamiento
  • No muy rápido

  Agente de pantalla de UiPath (con GPT - 4.1 mini)

  • Modelo básico: más rápido, más barato
  • Funciona mejor en navegadores
  • Utiliza una implementación patentada basada en el DOM de la página y la comprensión de imágenes, utilizando GPT-4.1 mini para el razonamiento
  • Moderadamente rápido

  Agente de pantalla de UiPath (con GPT - 5)

  • Modelo estándar: para tareas complejas
  • Funciona mejor en navegadores
  • Utiliza una implementación patentada basada en el DOM de la página y la comprensión de la imagen, utilizando GPT-5 para el razonamiento
  • Lenta

  Agente de pantalla de UiPath (con GPT - 5 mini)

  • Modelo básico: más rápido, más barato
  • Funciona mejor en navegadores
  • Utiliza una implementación patentada basada en el DOM de la página y la comprensión de imágenes, utilizando GPT-5 mini para el razonamiento
  • Moderadamente rápido

  OpenAI: operador

  • Modelo estándar: para tareas complejas
  • Funciona en cualquier tipo de aplicación, incluidas las interfaces basadas en imágenes
  • Utiliza el operador OpenAI, un modelo de razonamiento basado en imágenes
  • Lenta

  Anthropic: uso del ordenador

  • Modelo estándar: para tareas complejas
  • Funciona en cualquier tipo de aplicación, incluidas las interfaces basadas en imágenes
  • Utiliza Anthropic Computer Use, un modelo de razonamiento basado en imágenes
  • Lenta

• Calificar esta actividad : buena o mala

Opciones adicionales

Opciones

• Número máximo de pasos : este es el número máximo de pasos que ScreenPlay puede realizar para lograr su objetivo. La propiedad se puede utilizar como barrera básica para evitar bucles de agente infinitos.

• Escribir por portapapeles : indica si el portapapeles se utiliza para escribir el texto dado. Las siguientes opciones están disponibles:

  • Nunca : no usar nunca el portapapeles
  • Siempre : utiliza siempre el portapapeles
  • Siempre que sea posible : utiliza el portapapeles cuando sea posible. Esto depende del sistema operativo y del texto que se va a escribir (p. ej. Si se utiliza cualquier tecla especial, no se utilizará el portapapeles)

• Usar DOM cuando esté disponible : indica si los datos DOM se utilizarán/enviarán al modelo LLM para aplicaciones en las que se pueda extraer DOM. DOM solo puede ser utilizado por las implementaciones de LAM de UiPath.

  Deshabilitar si la orientación basada en DOM provoca coordenadas incorrectas de elemento.

  El valor predeterminado es Verdadero.

• Deshabilitar seguridad variable : indica si la seguridad variable debe deshabilitarse. La seguridad variable garantiza que las instrucciones de solicitud no se puedan pasar a través de valores variables.

  El propósito de esta característica es evitar ataques de inyección de solicitudes y se basa en LLM, por lo que si se produce un "falso positivo", el usuario puede deshabilitarlo para cada actividad de ScreenPlay. Para concluir si se trata de un "falso positivo", el usuario puede inspeccionar el seguimiento de ejecución, la solicitud del sistema, el razonamiento y las acciones.

  Habilite esta opción solo si necesita pasar instrucciones de solicitud a través de valores variables o si se produjo un resultado "falso positivo".

  El valor predeterminado es Falso.

• Modo de entrada : selecciona qué método debe utilizarse para generar entradas de teclado y ratón:

  • Igual que la aplicación/navegador : utiliza la configuración del modo de entrada de la actividad principal Usar aplicación/navegador .
  • Eventos de hardware : actúa como un usuario real utilizando entradas de "hardware" como los movimientos del ratón o las pulsaciones del teclado para interactuar con las aplicaciones. Estos son eventos desencadenados por hardware enviados directamente al sistema operativo. Aunque este método ofrece una emulación de comportamiento del 100 %, algunos eventos pueden perderse ocasionalmente. Como desarrollador, es tu responsabilidad garantizar que todos los eventos lleguen de forma fiable a la aplicación de destino.
  • API de Chromium : realiza acciones utilizando las API de depuración. Solo funciona para elementos de Chromium. Envía todo el texto de una vez. Funciona incluso si la aplicación de destino no está enfocada. Para obtener más información, consulta API de Chromium.
  • Simular : simula el uso de las API de accesibilidad. Recomendado para navegadores, aplicaciones basadas en Java, SAP. Suele ser más fiable que los eventos de hardware. Envía todo el texto en una sola acción. Funciona incluso si la aplicación de destino no está enfocada.
  Nota:

  Asegúrate de probar si el elemento de IU de tu aplicación de destino lo admite.

  • Mensajes de ventana : simula el uso de mensajes Win32. Recomendado para aplicaciones de escritorio. Suele ser más fiable que los eventos de hardware. Envía todo el texto de una vez. Funciona incluso si la aplicación de destino no está enfocada.
  Nota:

  Asegúrate de probar si el elemento de IU de tu aplicación de destino lo admite.

• Continuar en caso de error : especifica si la automatización debe continuar incluso cuando la actividad arroja un error. Este campo solo admite valores booleanos (Verdadero, Falso). El valor predeterminado es Falso. Como resultado, si el campo está vacío y se produce un error, la ejecución del proyecto se detiene. Si el valor se establece en Verdadero, la ejecución del proyecto continúa independientemente de cualquier error.

Plazos

• Delay before - Delay (in seconds) between the time the previous activity is completed and the time this activity begins performing any operations. The default value is 0.2 seconds. Adding a delay between activities ensures that one activity has enough time to complete before the next activity begins.
• Delay after - Delay (in seconds) between the time this activity is completed and the time the next activity begins any operations. The default value is 0.3 seconds. Adding a delay between activities ensures that one activity has enough time to complete before the next activity begins.
• Tiempo de espera : especifica la cantidad de tiempo (en segundos) que se debe esperar a que se ejecute la actividad antes de arrojar un error. El valor predeterminado es 30 segundos.

Salida

• Resultado : el resultado de la tarea, si lo hubiera. Por ahora solo admitimos la salida String .