- Visão geral
- Automação de Interface Gráfica
- Sobre o pacote de atividades UIAutomation
- Aplicativos e tecnologias automatizados com a Automação de Interface Gráfica
- Compatibilidade do projeto
- UI-ANA-016 - Extrair URL de navegador aberto
- UI-ANA-017 - ContinuarComErro verdadeiro
- UI-ANA-018 - Listar atividades de OCR/Imagem
- UI-DBP-006 - Uso do contêiner
- UI-DBP-013 - Uso Incorreto da Automação do Excel
- UI-DBP-030 - Uso de variáveis proibidas em seletores
- UI-DBP-031 - Verificação de atividades
- UI-PRR-001 - Simular clique
- UI-PRR-002 - Simular Digitação
- UI-PRR-003 - Uso incorreto do aplicativo aberto
- UI-PRR-004 - Atrasos Embutidos em Código
- UI-REL-001 - Idx grande em Seletores
- UI-SEC-004 - Dados de e-mail do seletor
- UI-SEC-010 — restrições de app/URL
- UI-USG-011 - Atributos não permitidos
- UX-SEC-010 — restrições de app/URL
- UX-DBP-029 - Uso de senha não segura
- UI-PST-001 - Nível de log de auditoria nas configurações do projeto
- Ferramenta de Migração de Navegador do UiPath
- Região do Recorte
- Computer Vision Recorder
- Índice de atividades
- Ativar
- Anchor Base
- Anexar Navegador
- Anexar Janela
- Block User Input
- Texto Explicativo
- Marcar
- Click
- Clicar na Imagem
- Click Image Trigger
- Click OCR Text
- Clicar no Texto
- Click Trigger
- Close Application
- Fechar Guia
- Close Window
- Context Aware Anchor
- Copy Selected Text
- Element Attribute Change Trigger
- Element Exists
- Element Scope
- Element State Change Trigger
- Export UI Tree
- Extrair Dados Estruturados
- Find Children
- Localizar Elemento
- Localizar Imagem
- Find Image Matches
- Find OCR Text Position
- Localizar Elemento Relativo
- Find Text Position
- Get Active Window
- Get Ancestor
- Get Attribute
- Get Event Info
- Get From Clipboard
- Obter Texto Completo
- Get OCR Text
- Get Password
- Get Position
- Get Source Element
- Get Text
- Obter Texto Visível
- Voltar
- Avançar
- Ir para a Página Inicial
- Google Cloud Vision OCR
- Hide Window
- Highlight
- Hotkey Trigger
- Hover
- Focalizar Imagem
- Hover OCR Text
- Focalizar Texto
- Imagem Existe
- Indicate On Screen
- Inject .NET Code
- Inject Js Script
- Invoke ActiveX Method
- Key Press Trigger
- Carregar Imagem
- Maximize Window
- Microsoft Azure Computer Vision OCR
- Microsoft OCR
- Microsoft Project Oxford Online OCR
- Minimize Window
- Monitorar eventos
- Mouse Trigger
- Move Window
- Navegar Para
- OCR Text Exists
- On Element Appear
- On Element Vanish
- Aparecer Na Imagem
- Desaparecer Na Imagem
- Abrir Aplicativo
- Abrir Navegador
- Atualizar Navegador
- Replay User Event
- Restore Window
- Save Image
- Select Item
- Select Multiple Items
- Enviar Tecla de Acesso
- Set Clipping Region
- Set Focus
- Set Text
- Set To Clipboard
- Set Web Attribute
- Show Window
- Iniciar Processo
- System Trigger
- Take Screenshot
- Tesseract OCR
- Texto Existe
- Dica de ferramenta
- Type Into
- Digitar Texto Seguro
- Use Foreground
- Wait Attribute
- Esperar Elemento Desaparecer
- Aguardar Imagem Desaparecer
- Verificação de acessibilidade
- Application event trigger
- Block User Input
- Check/Uncheck
- Check App State
- Check Element
- Click
- Click Event Trigger
- Drag and Drop
- Extract Table Data
- Localizar elementos
- For Each UI Element
- Get Browser Data
- Obter Área de Transferência
- Get Text
- Get URL
- Go To URL
- Highlight
- Hover
- Inject Js Script
- Keyboard Shortcuts
- Keypress Event Trigger
- Mouse Scroll
- Navigate Browser
- Select Item
- Set Browser Data
- Definir Área de Transferência
- Set Runtime Browser
- Set Focus
- Set Text
- Take Screenshot
- Type Into
- Unblock User Input
- Use Application/Browser
- Window operation
- Realize pesquisa no navegador e recupere resultados usando APIs de Automação de interface gráfica
- Navegação na Web
- Localizar imagens
- Clicar em imagens
- Disparar e monitorar eventos
- Criar e substituir arquivos
- Páginas HTML: extrair e manipular informações
- Manipulação de janelas
- Seleção automatizada de listas
- Localizar e manipular elementos de janela
- Gerenciar automação de texto
- Carregar e processar imagens
- Gerenciar ações ativadas pelo mouse
- Automatizar o runtime de aplicativos
- Execução automatizada de um aplicativo local
- Navegação em navegador
- Automação da Web
- Exemplo de escopo de disparador
- Habilitar o suporte de Automação de Interface Gráfica no DevExpress
- Computer Vision Local Server
- Automação Móvel
- Notas de versão
- Sobre a arquitetura de automação de dispositivos móveis
- Compatibilidade do projeto
- Get Log Types
- Get Logs
- Get Page Source
- Get Device Orientation
- Get Session Identifier
- Instalar Aplicativo
- Gerenciar Aplicativo Atual
- Manage Other App
- Open DeepLink
- Abrir URL
- Mobile Device Connection
- Deslizar Direcional
- Padrão de Desenho
- Positional Swipe
- Press Hardware Button
- Set Device Orientation
- Take Screenshot
- Obter parte da captura de tela
- Element Exists
- Execute Command
- Get Attribute
- Get Selected Item
- Get Text
- Set Selected Item
- Set Text
- Deslizar
- Tap
- Type Text
- Terminal
- Notas de versão
- Sobre o pacote de atividades Terminal
- Compatibilidade do projeto
- Melhores práticas
- Find Text
- Get Color At Position
- Get Cursor Position
- Get Field
- Obter Campo na Posição
- Obter Área da Tela
- Get Text
- Obter Texto na Posição
- Mover Cursor
- Mover cursor para o texto
- Enviar Tecla de Controle
- Send Keys
- Send Keys Secure
- Set Field
- Definir Campo na Posição
- Terminal Session
- Aguardar Texto do Campo
- Wait Screen Ready
- Aguardar Texto da Tela
- Aguardar Texto na Posição
- APIs de automação codificadas em terminais

Atividades do UIAutomation
Ajudante de seleção
As atividades de Automação de Interface Gráfica permitem trabalhar com elementos de interface gráfica que simulam a interação humana. Para fazer isso, é possível identificar os elementos da IU indicando-os em sua tela. Normalmente, um par de elementos é indicado para essa finalidade: um destino e uma âncora. Esse par é conhecido como um descritor.
Ao indicar, o Auxiliar de Seleção é usado para ajudar a realizar tarefas mais avançadas, como pausar a execução, alterar a estrutura que está sendo usada para detecção de elementos de IU, selecionar uma âncora ou editar o seletor que você está usando, para citar alguns .
Para obter mais informações, confira o vídeo Uso da tela de seleção .
Como indicar um elemento
Para indicar um elemento de interface gráfica, você deve primeiro arrastar e soltar uma atividade Use Application/Browser no Workflow Designer no Studio e, em seguida, indicar o aplicativo ou o navegador que você deseja automatizar.

Depois que o aplicativo ou o navegador for indicado, você pode arrastar qualquer atividade Modern UI Automation dentro da atividade Use Application/Browser e escolher Indicar aplicativo para automatizar no cartão de aplicativo para selecionar um aplicativo ou um navegador.
Em seguida, clique no elemento de interface gráfica com o qual você quer interagir. O elemento fica realçado em verde.

Ajudante de Opções de Seleção
Neste estágio do auxiliar Opções de seleção , você pode usar certas funcionalidades, da seguinte forma:
-
Pausar seleção - Você pode pausar a configuração por um período especificado de tempo ou pausar a configuração sem tempo limite e retomá-la quando quiser. No menu suspenso, você pode escolher uma destas opções:
- 1 segundo
- 3 segundos
- 5 segundos - Este é o valor padrão.
- 7 segundos
- 9 segundos
- Sem limite de tempo - A configuração é pausada até que Retomar seja selecionado.Essa opção interrompe o processo de indicação e permite que você interaja com sua máquina da maneira que quiser, sendo especialmente útil se o aplicativo estiver minimizado, fora da visualização ou por outros motivos, como trazer o aplicativo no estado correto. Você pode usar
F2como uma tecla de atalho.
Observação:You can scroll in applications that are scrollable without having to pause the Selection Screen.
-
Seleção de itens focalizáveis — você pode indicar itens que só ficam visíveis ao passar o mouse sobre eles. Você pode usar
F6como uma tecla de atalho. -
Seleção de região de imagem - Você pode mudar da indicação direta do elemento que você deseja usar para a seleção de uma área de forma livre que contém o elemento de destino e que é posteriormente processada por meio de reconhecimento de imagem. Você também pode arrastar uma seleção na tela para indicar uma área que você deseja usar como seu destino. Fazer isso desabilita os métodos de pesquisa Seletor restrito e Seletor difuso . Você pode usar
F3como uma tecla de atalho. -
Habilitar texto nativo — você pode identificar todos os rótulos de texto no aplicativo de destino que podem ser visualizados por meio do método Nativo. Ao clicar no botão Mostrar todos os elementos nativos , os rótulos de texto são destacados no aplicativo de destino.

-
Habilitar a Computer Vision - Você pode habilitar a Computer Vision para automatizar certas áreas ou elementos, especialmente quando os seletores não estiverem disponíveis, por exemplo, ao automatizar em uma área de trabalho remota. Você pode usar
F8como uma tecla de atalho. Ao clicar no botão Mostrar todos os elementos de CV , todos os elementos encontrados pelo Computer Vision são destacados no aplicativo de destino.
-
Alterar estrutura da interface gráfica — você pode alterar a tecnologia usada para determinar os elementos da interface gráfica e seus seletores. Você pode usar o menu suspenso ou a tecla de atalho
F4. Os tipos de estrutura disponíveis para projetos do Windows são:- Auto - Escolhe automaticamente a estrutura que é considerada mais adequada para o elemento indicado. Esta opção é selecionada por padrão. Geralmente funcionam bem com todos os tipos de interfaces do usuário.
- Active Accessibility - Usa a estrutura Active Accessibility, que é específica do Windows. É recomendável usar essa opção com software legado quando a opção padrão não funcionar.
- Automação de Interface Gráfica - Usa a estrutura proprietária da UiPath. É recomendável usar essa opção com aplicativos mais recentes quando a opção padrão não funcionar. As estruturas de Interface Gráfica disponíveis para o macOS são:
- Padrão - escolhe automaticamente a estrutura mais adequada para o elemento indicado, priorizando esta ordem: Sap, Java, Ax.
- Java — prioriza tecnologias como essa Java, Ax.
-
padrão que prioriza nesta ordem: Sap, Java, Ax. E temos um Java que prioriza tecnologias como esta Java, Ax.
-
Validar - Validar a seleção que você fez. Mais detalhes no capítulo Validação do descritor abaixo.
-
Confirmar - Confirme as alterações e feche o assistente de seleção.
-
Cancelar - Descartar todas as alterações e fechar o assistente de seleção.
Após um destino ser selecionado, isso abre a próxima etapa da janela Opções de Seleção, que permite configurar o descritor para o elemento indicado, adicionando uma âncora e definindo configurações mais avançadas.
Ao usar o StudioX, as Configurações nesta tela não são exibidas por padrão. Para editá-los, você deve usar o
enquanto passa o mouse sobre o destino ou a âncora.

Depois de terminar de configurar as Opções de seleção, para retornar ao UiPath Studio e manter todas as alterações feitas, você pode selecionar Confirmar, pressionar Enter ou selecionar a marca de verificação azul no menu de suspensão.
O processo inteiro se parece com isto:

Você pode ler mais sobre os recursos avançados da Tela de Seleção na página Configuração do descritor avançada .
Restrições conhecidas
No Studio Web, o Auxiliar de seleção não pode ser exibido em páginas do navegador sem corpo.
Ao tentar indicar um elemento de interface gráfica em uma página de navegador que usa um <frameset> ao invés de <body>, o Auxiliar de seleção de automação de interface gráfica não é iniciado.
Como o elemento <frameset> está obsoleto nos padrões HTML modernos, ele não é compatível com o Studio Web.
Exemplo: no site https://www.1link.co.uk, o Auxiliar de seleção não abre ao automatizar a partir do Studio Web.

Solução alternativa: abra o projeto no Studio Desktop e execute a automação de lá.
