- Visão geral
- Automação de Interface Gráfica
- Sobre o pacote de atividades UIAutomation
- Aplicativos e tecnologias automatizados com a Automação de Interface Gráfica
- Compatibilidade do projeto
- UI-ANA-016 - Extrair URL de navegador aberto
- UI-ANA-017 - ContinuarComErro verdadeiro
- UI-ANA-018 - Listar atividades de OCR/Imagem
- UI-DBP-006 - Uso do contêiner
- UI-DBP-013 - Uso Incorreto da Automação do Excel
- UI-DBP-030 - Uso de variáveis proibidas em seletores
- UI-DBP-031 - Verificação de atividades
- UI-PRR-001 - Simular clique
- UI-PRR-002 - Simular Digitação
- UI-PRR-003 - Uso incorreto do aplicativo aberto
- UI-PRR-004 - Atrasos Embutidos em Código
- UI-REL-001 - Idx grande em Seletores
- UI-SEC-004 - Dados de e-mail do seletor
- UI-SEC-010 — restrições de app/URL
- UI-USG-011 - Atributos não permitidos
- UX-SEC-010 — restrições de app/URL
- UX-DBP-029 - Uso de senha não segura
- UI-PST-001 - Nível de log de auditoria nas configurações do projeto
- Ferramenta de Migração de Navegador do UiPath
- Região do Recorte
- Computer Vision Recorder
- Índice de atividades
- Ativar
- Anchor Base
- Anexar Navegador
- Anexar Janela
- Block User Input
- Texto Explicativo
- Marcar
- Click
- Clicar na Imagem
- Click Image Trigger
- Click OCR Text
- Clicar no Texto
- Click Trigger
- Close Application
- Fechar Guia
- Close Window
- Context Aware Anchor
- Copy Selected Text
- Element Attribute Change Trigger
- Element Exists
- Element Scope
- Element State Change Trigger
- Export UI Tree
- Extrair Dados Estruturados
- Find Children
- Localizar Elemento
- Localizar Imagem
- Find Image Matches
- Find OCR Text Position
- Localizar Elemento Relativo
- Find Text Position
- Get Active Window
- Get Ancestor
- Get Attribute
- Get Event Info
- Get From Clipboard
- Obter Texto Completo
- Get OCR Text
- Get Password
- Get Position
- Get Source Element
- Get Text
- Obter Texto Visível
- Voltar
- Avançar
- Ir para a Página Inicial
- Google Cloud Vision OCR
- Hide Window
- Highlight
- Hotkey Trigger
- Hover
- Focalizar Imagem
- Hover OCR Text
- Focalizar Texto
- Imagem Existe
- Indicate On Screen
- Inject .NET Code
- Inject Js Script
- Invoke ActiveX Method
- Key Press Trigger
- Carregar Imagem
- Maximize Window
- Microsoft Azure Computer Vision OCR
- Microsoft OCR
- Microsoft Project Oxford Online OCR
- Minimize Window
- Monitorar eventos
- Mouse Trigger
- Move Window
- Navegar Para
- OCR Text Exists
- On Element Appear
- On Element Vanish
- Aparecer Na Imagem
- Desaparecer Na Imagem
- Abrir Aplicativo
- Abrir Navegador
- Atualizar Navegador
- Replay User Event
- Restore Window
- Save Image
- Select Item
- Select Multiple Items
- Enviar Tecla de Acesso
- Set Clipping Region
- Set Focus
- Set Text
- Set To Clipboard
- Set Web Attribute
- Show Window
- Iniciar Processo
- System Trigger
- Take Screenshot
- Tesseract OCR
- Texto Existe
- Dica de ferramenta
- Type Into
- Digitar Texto Seguro
- Use Foreground
- Wait Attribute
- Esperar Elemento Desaparecer
- Aguardar Imagem Desaparecer
- Verificação de acessibilidade
- Application event trigger
- Block User Input
- Check/Uncheck
- Check App State
- Check Element
- Click
- Click Event Trigger
- Drag and Drop
- Extract Table Data
- Localizar elementos
- For Each UI Element
- Get Browser Data
- Obter Área de Transferência
- Get Text
- Get URL
- Go To URL
- Highlight
- Hover
- Inject Js Script
- Keyboard Shortcuts
- Keypress Event Trigger
- Mouse Scroll
- Navigate Browser
- Save Image
- Select Item
- Set Browser Data
- Definir Área de Transferência
- Set Runtime Browser
- Set Focus
- Set Text
- Take Screenshot
- Type Into
- Unblock User Input
- Use Application/Browser
- Window operation
- Realize pesquisa no navegador e recupere resultados usando APIs de Automação de interface gráfica
- Navegação na Web
- Localizar imagens
- Clicar em imagens
- Disparar e monitorar eventos
- Criar e substituir arquivos
- Páginas HTML: extrair e manipular informações
- Manipulação de janelas
- Seleção automatizada de listas
- Localizar e manipular elementos de janela
- Gerenciar automação de texto
- Carregar e processar imagens
- Gerenciar ações ativadas pelo mouse
- Automatizar o runtime de aplicativos
- Execução automatizada de um aplicativo local
- Navegação em navegador
- Automação da Web
- Exemplo de escopo de disparador
- Habilitar o suporte de Automação de Interface Gráfica no DevExpress
- Computer Vision Local Server
- Automação Móvel
- Notas de versão
- Sobre a arquitetura de automação de dispositivos móveis
- Compatibilidade do projeto
- Get Log Types
- Get Logs
- Get Page Source
- Get Device Orientation
- Get Session Identifier
- Instalar Aplicativo
- Gerenciar Aplicativo Atual
- Manage Other App
- Open DeepLink
- Abrir URL
- Mobile Device Connection
- Deslizar Direcional
- Padrão de Desenho
- Positional Swipe
- Press Hardware Button
- Set Device Orientation
- Take Screenshot
- Obter parte da captura de tela
- Element Exists
- Execute Command
- Get Attribute
- Get Selected Item
- Get Text
- Set Selected Item
- Set Text
- Deslizar
- Tap
- Type Text
- Terminal
- Notas de versão
- Sobre o pacote de atividades Terminal
- Compatibilidade do projeto
- Melhores práticas
- Find Text
- Get Color At Position
- Get Cursor Position
- Get Field
- Obter Campo na Posição
- Obter Área da Tela
- Get Text
- Obter Texto na Posição
- Mover Cursor
- Mover cursor para o texto
- Enviar Tecla de Controle
- Send Keys
- Send Keys Secure
- Set Field
- Definir Campo na Posição
- Terminal Session
- Aguardar Texto do Campo
- Wait Screen Ready
- Aguardar Texto da Tela
- Aguardar Texto na Posição
- APIs de automação codificadas em terminais
Atividades do UIAutomation
UiPath.Semantic.Activities.NUITask
Description
O Screenplay é o agente de automação de próxima geração da UiPath®, projetado para trazer comportamento de agente e recursos cognitivos para a área de trabalho. O Screenplay interage com aplicativos de maneira semelhante a um humano: navegando por interfaces, adaptando-se a mudanças e lidando com tarefas complexas que anteriormente eram inviáveis com métodos de automação tradicionais.
Para saber mais, consulte Screenplay.
Esta atividade precisa ser adicionada a uma atividade Use Application/Browser.
Compatibilidade do projeto
Janelas | Plataforma cruzada
Configuração
-
Tarefa — solicitação descrevendo a tarefa de interface gráfica a ser executada, com a capacidade de:
- Usar variáveis.
- Adicione a imagem da tela (em linha com o texto).
- Exibir trace da última execução. Para obter mais detalhes, consulte Execução e inspeção dos resultados da execução.
-
Modelo - Indica o LLM subjacente usado pelo Screenplay para planejamento e raciocínio de execução de tarefas. As seguintes opções estão disponíveis: UiPath Screen Agent (com Gemini 2.5 Flash)
- Modelo básico
- Funciona melhor em navegadores
- Usa uma implementação proprietária baseada no DOM da página, usando o Gemini Flash para o raciocínio e compreensão de imagens
- É moderadamente rápido
UiPath Screen Agent (com GPT - 4.1)
- Modelo padrão - para tarefas complexas
- Funciona melhor em navegadores
- Usa uma implementação proprietária baseada no DOM da página e na compreensão de imagens, usando o GPT-4.1 para o raciocínio
- Não é muito rápido
UiPath Screen Agent (com GPT - 4.1 mini)
- Modelo básico - mais rápido, mais barato
- Funciona melhor em navegadores
- Usa uma implementação proprietária baseada no DOM da página e na compreensão de imagens, usando o GPT-4.1 mini para o raciocínio
- É moderadamente rápido
UiPath Screen Agent (com GPT - 5)
- Modelo padrão - para tarefas complexas
- Funciona melhor em navegadores
- Usa uma implementação proprietária baseada no DOM da página e na compreensão de imagens, usando GPT-5 para raciocínio
- Lenta
UiPath Screen Agent (com GPT - 5 mini)
- Modelo básico - mais rápido, mais barato
- Funciona melhor em navegadores
- Usa uma implementação proprietária baseada no DOM da página e na compreensão de imagens, usando o GPT-5 mini para o raciocínio
- É moderadamente rápido
OpenAI - Operator
- Modelo padrão - para tarefas complexas
- Funciona em qualquer tipo de aplicativo, incluindo interfaces baseadas em imagens
- Usa o OpenAI Operator, um modelo de raciocínio baseado em imagens
- Lenta
Anthropic - Computer Use
- Modelo padrão - para tarefas complexas
- Funciona em qualquer tipo de aplicativo, incluindo interfaces baseadas em imagens
- Usa Anthropic Computer Use, um modelo de raciocínio baseado em imagens
- Lenta
-
Classifique esta atividade como Boa ou Fraca
Opções adicionais
Opções
-
Número máximo de etapas - este é o número máximo de etapas que o Screenplay pode seguir para atingir seu objetivo. A propriedade pode ser usada como uma diretriz básica para evitar loops de agentes infinitos.
-
Digitar por área de transferência - Indica se a área de transferência é usada para digitar o texto fornecido. As seguintes opções estão disponíveis:
- Nunca - usar a área de transferência
- Sempre - Sempre usar a área de transferência
- Sempre que possível — use a área de transferência quando possível. Isso depende do sistema operacional e do texto a ser digitado (por exemplo Se alguma tecla especial for usada, a área de transferência não será usada)
-
Usar DOM quando disponível – Indica se os dados DOM serão usados/enviados para o modelo de LLM para aplicativos onde DOM pode ser extraído. DOM pode ser usado apenas por implementações UiPath LAM.
Desabilite se a segmentação baseada em DOM levar a coordenadas de elemento incorretas.
O valor padrão é Verdadeiro.
-
Desabilitar segurança da variável — indica se a segurança da variável deve ser desabilitada. A segurança de variáveis garante que instruções de prompt não possam ser passadas por meio de valores de variáveis.
O objetivo dessa funcionalidade é evitar ataques de injeção de prompt e é baseado em LLM, portanto, se ocorrer um "falso positivo", o usuário poderá desabilitá-lo para cada atividade Screenplay. Para concluir se é um "falso positivo", o usuário pode inspecionar o rastreamento de execução, o prompt do sistema, o raciocínio e as ações.
Habilite esta opção apenas se você precisar passar instruções de prompt por meio de valores de variáveis ou se ocorrer um resultado "falso positivo".
O valor padrão é False.
-
Modo de entrada — Selecione qual método deve ser usado para gerar entrada de teclado e mouse:
- Igual ao Aplicativo/Navegador — usa as configurações do modo de entrada da atividade pai Use Application/Browser .
- Eventos de hardware - Atua como um usuário real usando entradas de “hardware”, como movimentos do mouse ou pressionamentos de teclado, para interagir com os aplicativos. Esses são eventos acionados por hardware enviados diretamente ao sistema operacional. Embora esse método ofereça 100% de emulação comportamental, alguns eventos podem ocasionalmente ser perdidos. Como desenvolvedor, é sua responsabilidade garantir que todos os eventos alcancem de forma confiável o aplicativo de destino.
- API do Chromium — executa ações usando APIs do depurador. Funciona apenas com elementos do Chromium. Envia todos os textos de uma vez. Funciona mesmo que o aplicativo de destino não esteja em foco. Para obter mais detalhes, consulte a API do Chromium.
- Simular - Simula usando APIs de acessibilidade. Recomendado para navegadores, aplicativos baseados em Java e SAP. Geralmente mais confiável que Eventos de hardware. Envia todo o texto em uma única ação. Funciona mesmo que o aplicativo de destino não esteja em foco.
Observação:Certifique-se de testar se o elemento de interface gráfica de seu aplicativo de destino é compatível com isso.
- Mensagens de janelas - Simula usando mensagens Win32. Recomendado para aplicativos de desktop. Geralmente mais confiável que Eventos de hardware. Envia todos os textos de uma vez. Funciona mesmo que o aplicativo de destino não esteja em foco.
Observação:Certifique-se de testar se o elemento de interface gráfica de seu aplicativo de destino é compatível com isso.
-
Continuar com erro - Especifica se a automação deve continuar mesmo quando a atividade gera um erro. Este campo só aceita valores booleanos (True, False). O valor padrão é False. Como resultado, se o campo estiver em branco e um erro for lançado, a execução do projeto será interrompida. Se o valor for definido como True, a execução do projeto prosseguirá mesmo com erros.
Horários
- Delay before - Delay (in seconds) between the time the previous activity is completed and the time this activity begins performing any operations. The default value is 0.2 seconds. Adding a delay between activities ensures that one activity has enough time to complete before the next activity begins.
- Delay after - Delay (in seconds) between the time this activity is completed and the time the next activity begins any operations. The default value is 0.3 seconds. Adding a delay between activities ensures that one activity has enough time to complete before the next activity begins.
- Tempo limite — especifique a quantidade de tempo (em segundos) para esperar que a atividade seja executada antes de gerar um erro. O valor padrão é 30 segundos.
Saída
- Resultado — o resultado da tarefa, se houver. Por enquanto, suportamos apenas a saída
String.