- Visão geral
- Automação de Interface Gráfica
- Aplicativos e tecnologias automatizados com a Automação de Interface Gráfica
- Compatibilidade do projeto
- UI-ANA-016 - Extrair URL de navegador aberto
- UI-ANA-017 - ContinuarComErro verdadeiro
- UI-ANA-018 - Listar atividades de OCR/Imagem
- UI-DBP-006 - Uso do contêiner
- UI-DBP-013 - Uso Incorreto da Automação do Excel
- UI-DBP-030 - Uso de variáveis proibidas em seletores
- UI-PRR-001 - Simular clique
- UI-PRR-002 - Simular Digitação
- UI-PRR-003 - Uso incorreto do aplicativo aberto
- UI-PRR-004 - Atrasos Embutidos em Código
- UI-REL-001 - Idx grande em Seletores
- UI-SEC-004 - Dados de e-mail do seletor
- UI-SEC-010 — restrições de app/URL
- UI-USG-011 - Atributos não permitidos
- UX-SEC-010 — restrições de app/URL
- UX-DBP-029 - Uso de senha não segura
- UI-PST-001 - Nível de log de auditoria nas configurações do projeto
- Ferramenta de Migração de Navegador do UiPath
- Região do Recorte
- Computer Vision Recorder
- Ativar
- Anchor Base
- Anexar Navegador
- Anexar Janela
- Block User Input
- Texto Explicativo
- Marcar
- Click
- Clicar na Imagem
- Click Image Trigger
- Click OCR Text
- Clicar no Texto
- Click Trigger
- Close Application
- Fechar Guia
- Close Window
- Context Aware Anchor
- Copy Selected Text
- Element Attribute Change Trigger
- Element Exists
- Element Scope
- Element State Change Trigger
- Export UI Tree
- Extrair Dados Estruturados
- Find Children
- Localizar Elemento
- Localizar Imagem
- Find Image Matches
- Find OCR Text Position
- Localizar Elemento Relativo
- Find Text Position
- Get Active Window
- Get Ancestor
- Get Attribute
- Get Event Info
- Get From Clipboard
- Obter Texto Completo
- Get OCR Text
- Get Password
- Get Position
- Get Source Element
- Get Text
- Obter Texto Visível
- Voltar
- Avançar
- Ir para a Página Inicial
- Google Cloud Vision OCR
- Hide Window
- Highlight
- Hotkey Trigger
- Hover
- Focalizar Imagem
- Hover OCR Text
- Focalizar Texto
- Imagem Existe
- Indicate On Screen
- Inject .NET Code
- Inject Js Script
- Invoke ActiveX Method
- Key Press Trigger
- Carregar Imagem
- Maximize Window
- Microsoft Azure Computer Vision OCR
- Microsoft OCR
- Microsoft Project Oxford Online OCR
- Minimize Window
- Monitorar eventos
- Mouse Trigger
- Move Window
- Navegar Para
- OCR Text Exists
- On Element Appear
- On Element Vanish
- Aparecer Na Imagem
- Desaparecer Na Imagem
- Abrir Aplicativo
- Abrir Navegador
- Atualizar Navegador
- Replay User Event
- Restore Window
- Save Image
- Select Item
- Select Multiple Items
- Enviar Tecla de Acesso
- Set Clipping Region
- Set Focus
- Set Text
- Set To Clipboard
- Set Web Attribute
- Show Window
- Iniciar Processo
- System Trigger
- Take Screenshot
- Tesseract OCR
- Texto Existe
- Dica de ferramenta
- Type Into
- Digitar Texto Seguro
- Use Foreground
- Wait Attribute
- Esperar Elemento Desaparecer
- Aguardar Imagem Desaparecer
- Application event trigger
- Check/Uncheck
- Check App State
- Check Element
- Click
- Click Event Trigger
- Fechar pop-up
- Drag and Drop
- Extract Table Data
- For Each UI Element
- Get Attribute
- Get Browser Data
- Get Text
- Get URL
- Go To URL
- Highlight
- Hover
- Inject Js Script
- Keyboard Shortcuts
- Keypress Event Trigger
- Mouse Scroll
- Navigate Browser
- Select Item
- Set Browser Data
- Set Runtime Browser
- Set Text
- Take Screenshot
- Type Into
- Use Application/Browser
- Realize pesquisa no navegador e recupere resultados usando APIs de Automação de interface gráfica
- Navegação na Web
- Localizar imagens
- Clicar em imagens
- Disparar e monitorar eventos
- Criar e substituir arquivos
- Páginas HTML: extrair e manipular informações
- Manipulação de janelas
- Seleção automatizada de listas
- Localizar e manipular elementos de janela
- Gerenciar automação de texto
- Carregar e processar imagens
- Gerenciar ações ativadas pelo mouse
- Automatizar o runtime de aplicativos
- Execução automatizada de um aplicativo local
- Navegação em navegador
- Automação da Web
- Exemplo de escopo de disparador
- Computer Vision Local Server
- Automação Móvel
- Notas de versão
- Compatibilidade do projeto
- Get Log Types
- Get Logs
- Get Page Source
- Get Device Orientation
- Get Session Identifier
- Instalar Aplicativo
- Gerenciar Aplicativo Atual
- Manage Other App
- Open DeepLink
- Abrir URL
- Mobile Device Connection
- Deslizar Direcional
- Padrão de Desenho
- Positional Swipe
- Press Hardware Button
- Set Device Orientation
- Take Screenshot
- Obter parte da captura de tela
- Element Exists
- Execute Command
- Get Attribute
- Get Selected Item
- Get Text
- Set Selected Item
- Set Text
- Deslizar
- Tap
- Type Text
- Terminal
- Notas de versão
- Sobre o pacote de atividades Terminal
- Compatibilidade do projeto
- Melhores práticas
- Find Text
- Get Color At Position
- Get Cursor Position
- Get Field
- Obter Campo na Posição
- Obter Área da Tela
- Get Text
- Obter Texto na Posição
- Mover Cursor
- Mover cursor para o texto
- Enviar Tecla de Controle
- Send Keys
- Send Keys Secure
- Set Field
- Definir Campo na Posição
- Terminal Session
- Aguardar Texto do Campo
- Aguardar Texto da Tela
- Aguardar Texto na Posição
Tela de seleção
As atividades de Automação de Interface Gráfica permitem trabalhar com elementos de interface gráfica que simulam a interação humana. Para fazer isso, é possível identificar os elementos da IU indicando-os em sua tela. Normalmente, um par de elementos é indicado para essa finalidade: um destino e uma âncora. Esse par é conhecido como um descritor.
Ao indicar, a Tela de Seleção é usada para ajudar a realizar tarefas mais avançadas, como pausar a execução, alterar a estrutura que está sendo usada para detecção, selecionar uma âncora ou editar o seletor usado, para citar alguns.
Você pode conferir o vídeo abaixo para mais informações.
Para indicar um elemento de interface gráfica, primeiro arraste e solte uma atividade Use Application/Browser no Designer de fluxo de trabalho no Studio e, em seguida, indique o aplicativo ou navegador que deseja automatizar.
Após o aplicativo ou o navegador serem indicados, arraste qualquer atividade do Modern UI Automation para dentro da atividade Use Application/Browser e selecione Indicar no aplicativo ou Indicar no navegador do cartão do aplicativo. Isso abre a primeira instância do auxiliar de Opções de Seleção ao lado do aplicativo de destino, que permite que você indique o elemento de interface gráfica que você deseja usar.
Em seguida, clique no elemento de interface gráfica com o qual você quer interagir. O elemento fica realçado em verde.
Neste estágio do auxiliar de Opções de Seleção , você pode usar certas funcionalidades, da seguinte maneira:
- Pausar seleção - Você pode pausar a configuração por um período especificado de tempo ou pausar a configuração sem tempo limite e retomá-la quando quiser. No menu suspenso, você pode escolher uma destas opções:
- 1 segundo
- 3 segundos
- 5 segundos - Este é o valor padrão.
- 7 segundos
- 9 segundos
- Sem limite de tempo - A configuração é pausada até que Retomar seja selecionado.
F2
como uma tecla de atalho.Observação: você pode rolar em aplicativos com rolagem sem precisar pausar a tela de seleção. - Seleção de itens focalizáveis - Você pode indicar itens que só são visíveis ao passar o mouse sobre eles. Você pode usar
F6
como uma tecla de atalho. - Seleção de região da imagem - Você pode alternar entre indicar diretamente o elemento que deseja usar e selecionar uma área de forma livre que contém o elemento de destino e que é processada posteriormente por reconhecimento de imagem. Você também pode arrastar uma seleção na tela para indicar uma área que você deseja usar como seu destino. Fazer isso desabilita os métodos de pesquisa Seletor restrito e Seletor difuso . Você pode usar
F3
como uma tecla de atalho. - Habilitar Texto nativo — você pode identificar todos os rótulos de texto no aplicativo de destino que podem ser visualizados por meio do método Nativo.
Ao clicar no botão Mostrar todos os elementos nativos , os rótulos de texto são destacados no aplicativo de destino.
- Habilitar Computer Vision - Você pode habilitar Computer Vision para automatizar certas áreas ou elementos, especialmente quando os seletores não estão disponíveis, como por exemplo, ao automatizar em uma área de trabalho remota. Você pode usar
F8
como uma tecla de atalho.Ao clicar no botão Mostrar todos os elementos do CV , todos os elementos localizados pelo Computer Vision são destacados no aplicativo de destino.
-
Alterar a estrutura de interface gráfica — você pode alterar a tecnologia usada para determinar os elementos da interface gráfica e seus seletores. Você pode usar o menu suspenso ou a tecla de atalho
F4
. Os tipos de estrutura disponíveis são:- Auto - Escolhe automaticamente a estrutura que é considerada a mais adequada para o elemento indicado. Esta opção é selecionada por padrão. Geralmente funcionam bem com todos os tipos de interfaces do usuário.
- Active Accessibility - Usa a estrutura do Active Accessibility, que é específica do Windows. É recomendável usar essa opção com software legado, quando a opção padrão não funcionar.
- Automação de Interface Gráfica - Usa a estrutura proprietária da UiPath. É recomendável usar essa opção com aplicativos novos, quando a opção padrão não funcionar.
- Validar - Valide a seleção feita. Mais detalhes no capítulo Validação do descritor abaixo.
- Confirmar - Confirme as alterações e feche o assistente de seleção.
- Cancelar - descarta todas as alterações e fecha o assistente de seleção.
Enter
ou selecionar a marca de seleção azul no menu de suspensão.
O processo inteiro se parece com isto:
Você pode ler mais sobre as funcionalidades avançadas da Tela de Seleção na página Configuração do descritor avançado .