ScreenPlay

A atividade ScreenPlay que o ScreenPlay é o agente de automação de última geração da UiPath®, projetado para levar o comportamento de agentes e recursos cognitivos para o desktop para Automação Semântica.

UiPath.Semantic.Activities.NUITask

Description

O Screenplay é o agente de automação de próxima geração da UiPath®, projetado para trazer comportamento de agente e recursos cognitivos para a área de trabalho. O Screenplay interage com aplicativos de maneira semelhante a um humano: navegando por interfaces, adaptando-se a mudanças e lidando com tarefas complexas que anteriormente eram inviáveis com métodos de automação tradicionais.

Para saber mais, consulte Screenplay.

Esta atividade precisa ser adicionada a uma atividade Use Application/Browser.

Compatibilidade do projeto

Janelas | Plataforma cruzada

Configuração

• Tarefa — solicitação descrevendo a tarefa de interface gráfica a ser executada, com a capacidade de:

  • Usar variáveis
  • Anexar Arquivos
  • Adicionar imagem da tela (em linha com o texto)
  • Exibir trace da última execução. Para obter mais detalhes, consulte Execução e inspeção dos resultados da execução.

• Modelo - Indica o LLM subjacente usado pelo ScreenPlay para planejamento e raciocínio de execução de tarefas. As seguintes opções estão disponíveis:

  Screen Agent (usando Gemini 2.5 Flash)

  • Modelo básico
  • Funciona melhor em navegadores
  • Usa uma implementação proprietária baseada no DOM da página, usando o Gemini Flash para o raciocínio e compreensão de imagens
  • É moderadamente rápido

  Screen Agent (usando a visualização do Gemini 3.0 Flash)

  • Modelo básico
  • Funciona melhor em navegadores
  • Usa uma implementação proprietária baseada no DOM da página, usando o Gemini Flash para o raciocínio e compreensão de imagens
  • É moderadamente rápido

  Screen Agent (usando GPT-4.1)

  • Modelo padrão - para tarefas complexas
  • Funciona melhor em navegadores
  • Usa uma implementação proprietária baseada no DOM da página e na compreensão de imagens, usando o GPT-4.1 para o raciocínio
  • Não é muito rápido

  Screen Agent (usando GPT-4.1 mini)

  • Modelo básico - mais rápido, mais barato
  • Funciona melhor em navegadores
  • Usa uma implementação proprietária baseada no DOM da página e na compreensão de imagens, usando o GPT-4.1 mini para o raciocínio
  • É moderadamente rápido

  Screen Agent (usando GPT-5)

  • Modelo padrão - para tarefas complexas
  • Funciona melhor em navegadores
  • Usa uma implementação proprietária baseada no DOM da página e na compreensão de imagens, usando GPT-5 para raciocínio
  • Lenta

  Screen Agent (usando GPT-5 mini)

  • Modelo básico - mais rápido, mais barato
  • Funciona melhor em navegadores
  • Usa uma implementação proprietária baseada no DOM da página e na compreensão de imagens, usando o GPT-5 mini para o raciocínio
  • É moderadamente rápido

  Screen Agent (com GPT-5.4)

  • Modelo padrão - para tarefas complexas
  • Usa uma implementação proprietária baseada no DOM da página e na compreensão de imagens, usando o GPT-5.4 para o raciocínio
  • Lenta

  Screen Agent (com GPT-5.4 mini)

  • Modelo básico - mais rápido, mais barato
  • Usa uma implementação proprietária baseada no DOM da página e na compreensão de imagens, usando o GPT-5.4 mini para raciocínio
  • É moderadamente rápido

  Screen Agent (com GPT-5.5)

  • Modelo padrão - para tarefas complexas
  • Usa uma implementação proprietária baseada no DOM da página e na compreensão de imagens, usando o GPT-5.5 para o raciocínio
  • Lenta

  Screen Agent (usando Path Mini)

  • Modelo básico
  • Funciona em qualquer tipo de aplicativo, incluindo interfaces baseadas em imagens
  • Usa uma implementação proprietária baseada no DOM da página e na compreensão de imagens, usando o Path Mini para o raciocínio
  • É moderadamente rápido

  OpenAI - Operator

  • Modelo padrão - para tarefas complexas
  • Funciona em qualquer tipo de aplicativo, incluindo interfaces baseadas em imagens
  • Usa o OpenAI Operator, um modelo de raciocínio baseado em imagens
  • Lenta

  Anthropic - Computer Use

  • Modelo padrão - para tarefas complexas
  • Funciona em qualquer tipo de aplicativo, incluindo interfaces baseadas em imagens
  • Usa Anthropic Computer Use, um modelo de raciocínio baseado em imagens
  • Lenta

  O valor padrão é Screen Agent (usando GPT-5.4).

• Classifique esta atividade como Boa ou Fraca

Opções adicionais

Opções

• Número máximo de etapas - este é o número máximo de etapas que o Screenplay pode seguir para atingir seu objetivo. A propriedade pode ser usada como uma diretriz básica para evitar loops de agentes infinitos.

• Modo de anexo do trabalho (trace.html) - Indica quando traces (.html) devem ser anexados ao trabalho. Os arquivos de trace são gerados de acordo com a configuração do projeto ScreenPlay. Os recursos de anexo de trabalho dependem da versão do Orchestrator e do Robot. As seguintes opções estão disponíveis:

  • Na falha - Anexe traces ao trabalho apenas na falha.
  • Sempre — sempre anexar traces ao trabalho.
  • Nunca - Nunca anexe traces ao trabalho.

• Usar DOM quando disponível – Indica se os dados DOM serão usados/enviados para o modelo de LLM para aplicativos onde DOM pode ser extraído. DOM pode ser usado apenas por implementações UiPath LAM.

  Desabilite se a segmentação baseada em DOM levar a coordenadas de elemento incorretas.

  O valor padrão é Verdadeiro.

• Desabilitar segurança da variável — indica se a segurança da variável deve ser desabilitada. A segurança de variáveis garante que instruções de prompt não possam ser passadas por meio de valores de variáveis.

  O objetivo dessa funcionalidade é evitar ataques de injeção de prompt e é baseado em LLM, portanto, se ocorrer um "falso positivo", o usuário poderá desabilitá-lo para cada atividade Screenplay. Para concluir se é um "falso positivo", o usuário pode inspecionar o rastreamento de execução, o prompt do sistema, o raciocínio e as ações.

  Habilite esta opção apenas se você precisar passar instruções de prompt por meio de valores de variáveis ou se ocorrer um resultado "falso positivo".

  O valor padrão é False.

• Modo de entrada — Selecione qual método deve ser usado para gerar entrada de teclado e mouse:

  • Igual ao Aplicativo/Navegador — usa as configurações do modo de entrada da atividade pai Use Application/Browser .
  • Eventos de hardware - Atua como um usuário real usando entradas de “hardware”, como movimentos do mouse ou pressionamentos de teclado, para interagir com os aplicativos. Esses são eventos acionados por hardware enviados diretamente ao sistema operacional. Embora esse método ofereça 100% de emulação comportamental, alguns eventos podem ocasionalmente ser perdidos. Como desenvolvedor, é sua responsabilidade garantir que todos os eventos alcancem de forma confiável o aplicativo de destino.
  • API do Chromium — executa ações usando APIs do depurador. Funciona apenas com elementos do Chromium. Envia todos os textos de uma vez. Funciona mesmo que o aplicativo de destino não esteja em foco. Para obter mais detalhes, consulte a API do Chromium.
  • Simular - Simula usando APIs de acessibilidade. Recomendado para navegadores, aplicativos baseados em Java e SAP. Geralmente mais confiável que Eventos de hardware. Envia todo o texto em uma única ação. Funciona mesmo que o aplicativo de destino não esteja em foco.
  Observação:

  Certifique-se de testar se o elemento de interface gráfica de seu aplicativo de destino é compatível com isso.

  • Mensagens de janelas - Simula usando mensagens Win32. Recomendado para aplicativos de desktop. Geralmente mais confiável que Eventos de hardware. Envia todos os textos de uma vez. Funciona mesmo que o aplicativo de destino não esteja em foco.
  Observação:

  Certifique-se de testar se o elemento de interface gráfica de seu aplicativo de destino é compatível com isso.

• Continuar com erro - Especifica se a automação deve continuar mesmo quando a atividade gera um erro. Este campo só aceita valores booleanos (True, False). O valor padrão é False. Como resultado, se o campo estiver em branco e um erro for lançado, a execução do projeto será interrompida. Se o valor for definido como True, a execução do projeto prosseguirá mesmo com erros.

Opções – Ações de interface do usuário

• Campo vazio - Aplica-se a Type Into UI Actions quando o DOM é habilitado e usado.
  Indica se o conteúdo existente do campo de texto deve ser limpo antes de digitar o texto e como esvaziar o campo. Campos são esvaziados enviando uma combinação de teclas que difere entre campos com uma única linha e campos com várias linhas. Certifique-se de selecionar a opção certa dependendo do Campo indicado. As opções são:

  • None - Do not delete the existing content.
  • Linha única (End, Shift+Home, Del) - Exclui o conteúdo de um campo de texto com uma única linha. Essa é a opção padrão.
  • Multi line (Ctrl+A, Del) - Delete the content from a text field with multiple lines.

• Atraso entre teclas - Aplica-se a Type Into e Keyboard Shortcuts UI Actions.
  Atraso (em segundos) entre dois pressionamentos de tecla consecutivos. O valor máximo é de 1 segundo.

• Tipo de movimento do cursor - Usado quando o método de entrada é definido como Eventos de hardware e se aplica a ações de interface gráfica que exigem um movimento do mouse, como: Clicar, Focalizar, Rolagem do mouse e ações semelhantes
  Especifica o tipo de movimento realizado pelo cursor do mouse. Há duas opções disponíveis:

  • Instantâneo - O cursor salta para o destino.
  • Suave - O cursor move-se em incrementos.

  O valor padrão é Suave quando Eventos de Hardware é usado e Instantâneo caso contrário.

• Digitar por área de transferência — aplica-se a ações de interface gráfica Type Into .
  Indica se a área de transferência é usada para digitar o texto fornecido. As seguintes opções estão disponíveis:

  • Nunca - usar a área de transferência
  • Sempre - Sempre usar a área de transferência
  • Sempre que possível — use a área de transferência quando possível. Isso depende do sistema operacional e do texto a ser digitado (por exemplo, se uma tecla especial for usada, a área de transferência não será utilizada)

• Ativar — Aplica-se a Clicar, Digitar, Atalhos de teclado Ações de IU.
  Coloque o elemento de interface gráfica em primeiro plano e o ative antes de interagir com ele.

Horários

• Delay before - Delay (in seconds) between the time the previous activity is completed and the time this activity begins performing any operations. The default value is 0.2 seconds. Adding a delay between activities ensures that one activity has enough time to complete before the next activity begins.
• Delay after - Delay (in seconds) between the time this activity is completed and the time the next activity begins any operations. The default value is 0.3 seconds. Adding a delay between activities ensures that one activity has enough time to complete before the next activity begins.
• Tempo limite — especifique a quantidade de tempo (em segundos) para esperar que a atividade seja executada antes de gerar um erro. O valor padrão é 30 segundos.

Saída

• Resultado — o resultado da tarefa, se houver. Por enquanto, suportamos apenas a saída String .
• Arquivos de trace - Os arquivos de trace gerados pela atividade ScreenPlay atual. Os arquivos de trace são gerados de acordo com a configuração do projeto ScreenPlay.