- Visão geral
- Automação de Interface Gráfica
- Aplicativos e tecnologias automatizados com a Automação de Interface Gráfica
- Compatibilidade do projeto
- UI-ANA-016 - Extrair URL de navegador aberto
- UI-ANA-017 - ContinuarComErro verdadeiro
- UI-ANA-018 - Listar atividades de OCR/Imagem
- UI-DBP-006 - Uso do contêiner
- UI-DBP-013 - Uso Incorreto da Automação do Excel
- UI-DBP-030 - Uso de variáveis proibidas em seletores
- UI-PRR-001 - Simular clique
- UI-PRR-002 - Simular Digitação
- UI-PRR-003 - Uso incorreto do aplicativo aberto
- UI-PRR-004 - Atrasos Embutidos em Código
- UI-REL-001 - Idx grande em Seletores
- UI-SEC-004 - Dados de e-mail do seletor
- UI-SEC-010 — restrições de app/URL
- UI-USG-011 - Atributos não permitidos
- UX-SEC-010 — restrições de app/URL
- UX-DBP-029 - Uso de senha não segura
- UI-PST-001 - Nível de log de auditoria nas configurações do projeto
- Ferramenta de Migração de Navegador do UiPath
- Região do Recorte
- Computer Vision Recorder
- Índice de atividades
- Ativar
- Anchor Base
- Anexar Navegador
- Anexar Janela
- Block User Input
- Texto Explicativo
- Marcar
- Click
- Clicar na Imagem
- Click Image Trigger
- Click OCR Text
- Clicar no Texto
- Click Trigger
- Close Application
- Fechar Guia
- Close Window
- Context Aware Anchor
- Copy Selected Text
- Element Attribute Change Trigger
- Element Exists
- Element Scope
- Element State Change Trigger
- Export UI Tree
- Extrair Dados Estruturados
- Find Children
- Localizar Elemento
- Localizar Imagem
- Find Image Matches
- Find OCR Text Position
- Localizar Elemento Relativo
- Find Text Position
- Get Active Window
- Get Ancestor
- Get Attribute
- Get Event Info
- Get From Clipboard
- Obter Texto Completo
- Get OCR Text
- Get Password
- Get Position
- Get Source Element
- Get Text
- Obter Texto Visível
- Voltar
- Avançar
- Ir para a Página Inicial
- Google Cloud Vision OCR
- Hide Window
- Highlight
- Hotkey Trigger
- Hover
- Focalizar Imagem
- Hover OCR Text
- Focalizar Texto
- Imagem Existe
- Indicate On Screen
- Inject .NET Code
- Inject Js Script
- Invoke ActiveX Method
- Key Press Trigger
- Carregar Imagem
- Maximize Window
- Microsoft Azure Computer Vision OCR
- Microsoft OCR
- Microsoft Project Oxford Online OCR
- Minimize Window
- Monitorar eventos
- Mouse Trigger
- Move Window
- Navegar Para
- OCR Text Exists
- On Element Appear
- On Element Vanish
- Aparecer Na Imagem
- Desaparecer Na Imagem
- Abrir Aplicativo
- Abrir Navegador
- Atualizar Navegador
- Replay User Event
- Restore Window
- Save Image
- Select Item
- Select Multiple Items
- Enviar Tecla de Acesso
- Set Clipping Region
- Set Focus
- Set Text
- Set To Clipboard
- Set Web Attribute
- Show Window
- Iniciar Processo
- System Trigger
- Take Screenshot
- Tesseract OCR
- Texto Existe
- Dica de ferramenta
- Type Into
- Digitar Texto Seguro
- Use Foreground
- Wait Attribute
- Esperar Elemento Desaparecer
- Aguardar Imagem Desaparecer
- Application event trigger
- Check/Uncheck
- Check App State
- Check Element
- Click
- Click Event Trigger
- Drag and Drop
- Extract Table Data
- For Each UI Element
- Get Attribute
- Obter atributo (Genérico)
- Get Browser Data
- Get Text
- Get URL
- Go To URL
- Highlight
- Hover
- Inject Js Script
- Keyboard Shortcuts
- Keypress Event Trigger
- Mouse Scroll
- Navigate Browser
- Select Item
- Set Browser Data
- Set Runtime Browser
- Set Text
- Take Screenshot
- Type Into
- Use Application/Browser
- Realize pesquisa no navegador e recupere resultados usando APIs de Automação de interface gráfica
- Navegação na Web
- Localizar imagens
- Clicar em imagens
- Disparar e monitorar eventos
- Criar e substituir arquivos
- Páginas HTML: extrair e manipular informações
- Manipulação de janelas
- Seleção automatizada de listas
- Localizar e manipular elementos de janela
- Gerenciar automação de texto
- Carregar e processar imagens
- Gerenciar ações ativadas pelo mouse
- Automatizar o runtime de aplicativos
- Execução automatizada de um aplicativo local
- Navegação em navegador
- Automação da Web
- Exemplo de escopo de disparador
- Habilitar o suporte de Automação de Interface Gráfica no DevExpress
- Computer Vision Local Server
- Automação Móvel
- Notas de versão
- About the mobile device automation architecture
- Gerenciamento do Mobile Device Manager
- Gerenciamento de aplicativos
- Interação de dispositivos
- Compatibilidade do projeto
- Get Log Types
- Get Logs
- Get Page Source
- Get Device Orientation
- Get Session Identifier
- Instalar Aplicativo
- Gerenciar Aplicativo Atual
- Manage Other App
- Open DeepLink
- Abrir URL
- Mobile Device Connection
- Deslizar Direcional
- Padrão de Desenho
- Positional Swipe
- Press Hardware Button
- Set Device Orientation
- Take Screenshot
- Obter parte da captura de tela
- Element Exists
- Execute Command
- Get Attribute
- Get Selected Item
- Get Text
- Set Selected Item
- Set Text
- Deslizar
- Tap
- Type Text
- Terminal
- Notas de versão
- Sobre o pacote de atividades Terminal
- Compatibilidade do projeto
- Melhores práticas
- Find Text
- Get Color At Position
- Get Cursor Position
- Get Field
- Obter Campo na Posição
- Obter Área da Tela
- Get Text
- Obter Texto na Posição
- Mover Cursor
- Mover cursor para o texto
- Enviar Tecla de Controle
- Send Keys
- Send Keys Secure
- Set Field
- Definir Campo na Posição
- Terminal Session
- Aguardar Texto do Campo
- Aguardar Texto da Tela
- Aguardar Texto na Posição

Atividades do UIAutomation
Interação de dispositivos
A interação do dispositivo consiste nas ações que você realiza em um dispositivo móvel, dentro do Mobile Device Manager (MDM), que você pode gravar e, em seguida, importar para o seu caso de teste.
Quando uma ação é executada, a interação do dispositivo é bloqueada até sua conclusão.
Para interagir com o seu dispositivo, você deve primeiro iniciar um aplicativo. No MDM, você tem três opções para escolher, conforme listado na tabela a seguir.
Método |
Procedimento |
---|---|
Iniciar um aplicativo a partir de um dispositivo |
|
Iniciar um aplicativo a partir de um aplicativo configurado |
|
Iniciar um aplicativo usando Ações Rápidas na aba de Boas-vindas |
|
Você pode interagir com o seu dispositivo no MDM, assim como faria com um dispositivo físico real, usando o mouse ou barra de ação. A tela e as ações ficam bloqueadas quando você executa uma ação.
A tabela a seguir lista as ações na tela que você pode realizar para interagir com o seu dispositivo.
Ação |
Description |
Procedimento |
---|---|---|
Tap |
Acesse um elemento na tela. |
Clique em um elemento na tela do dispositivo. |
Toque Duplo |
Execute a ação de toque duplo na tela. |
Clique duas vezes em um elemento na tela do dispositivo. |
Toque Longo |
Pressione e segure. |
Clique e mantenha pressionado em um elemento. |
Pinçar (aumentar/diminuir o zoom) |
Aumente e diminua o zoom. Essa ação não é gravada. |
Clique com o botão direito do mouse e segure, em seguida, arraste para a parte inferior da tela para ampliar ou para a parte superior para diminuir o zoom. |
Deslizar |
Passe o dedo na tela. |
Clique e arraste para qualquer parte da tela. |
Entrada do Teclado |
Digite seu texto e o envie para o dispositivo móvel. Por exemplo, você pode usar a barra de pesquisa para acessar rapidamente um site. |
|
A tabela a seguir lista as ações que você pode realizar para interagir com o seu dispositivo. A barra de ação fica bem ao lado do dispositivo.
Ação |
Description |
Procedimento |
---|---|---|
iOS - Início |
Retorne para a tela inicial. |
Clique no botão Início do iOS. |
Android - Voltar |
Volte para a tela/página anterior. |
Clique no botão Voltar do Android. |
Android - Início |
Retorne para a tela inicial. |
Clique no botão Início do Android. |
Android - Trocar Aplicativo |
Alterne entre aplicativos. |
Clique no botão de Aplicativos Recentes do Android e escolha sua próxima ação. |
Alterar orientação para paisagem/retrato |
Alterne entre o modo retrato (vertical) e paisagem (horizontal) para o seu dispositivo. A orientação da tela não é compatível com todos os aplicativos. |
Clique na alternância de Alterar orientação para alternar entre os modos. |
Atualizar |
Atualize a conexão do dispositivo. |
Clique no botão Atualizar. Alternativamente, clique no botão Reconectar quando a conexão tiver sido perdida. |
Salvar captura de tela |
Salve a tela atual. |
Clique em Salvar captura de tela e escolha um local para salvar o arquivo. |
Enviar texto |
Digite seu texto e o envie para o dispositivo móvel. Por exemplo, você pode usar a barra de pesquisa para acessar rapidamente um site. |
|
Padrão de Desenho |
Desenha qualquer padrão na tela do dispositivo. Vários pontos do caminho do dedo são registrados e exibidos em um eixo XY. |
|
Habilitar gravação do CV | Permite a gravação para automatizar elementos de interface gráfica identificados pelo recurso Computer Vision. Essa funcionalidade usa uma rede neural UiPath® que é capaz de identificar elementos de interface gráfica sem o uso de seletores. Esse método, por sua vez, consegue identificar elementos que de outra forma seriam impossíveis de automatizar. |
|
Seleção por elementos identificados |
Seleciona os elementos da interface do usuário que são identificados pelo MDM. |
Clique em Seleção por elementos identificados para selecionar elementos de interface do usuário identificados por MDM. |
Seleção por posição absoluta |
Usa coordenadas de elementos fixos para selecionar um elemento de interface do usuário. As coordenadas são registradas como uma atividade Positional Swipe . |
Clique em Seleção por posição absoluta e escolha as coordenadas padrão para selecionar um elemento da interface do usuário. |
Gravar ação do elemento |
Registra uma ação configurada manualmente concluída em determinados elementos da interface do usuário. É recomendado para gravar ações mais granulares, como adicionar um deslocamento a um toque na tela. |
|
Alternar seletores de modo de exibição da Web como seletores nativos |
Tenta converter futuros seletores do tipo WebView, para seletores do tipo nativo, de acordo com o sistema operacional utilizado. Esse recurso facilita a automação de aplicativos da web. |
|
Instalar Aplicativo |
Instale um aplicativo no seu dispositivo. |
|
Gerenciar Aplicativo |
Gerencie o aplicativo atual. |
|
Manage Other App |
Gerencie outros aplicativos no seu dispositivo. Você pode usar isso quando for testar integrações entre aplicativos. |
|
Abrir URL |
Abra o URL no navegador. |
|
Abrir Link Profundo |
Inicie um aplicativo que abre uma página específica. |
|
Salvar origem |
Salve o arquivo de origem XML do dispositivo. |
|
Definir Localização Geográfica |
Defina coordenadas geográficas. |
|
O recurso de ação do elemento Record pode ser encontrado dentro da barra Action . Isso permite gravar ações altamente granulares, que não podem ser capturadas por meio de uma interação regular na tela. O recurso Gravar ação do elemento funciona gravando uma ação que é concluída em um ou mais elementos da interface do usuário e configurando-a. A configuração da ação depende do tipo de interação na tela que você escolher. Por exemplo, se você escolher Toque Único como sua interação na tela, poderá configurar para Toque Duplo ou Toque Longo.
O recurso Gravar ação do elemento é recomendado para gravar ações mais granulares, como adicionar um deslocamento a um toque na tela.
Para usar o recurso de ação do elemento Record :
- Clique em Gravar ação do elemento
.
- Selecione um elemento de interface do usuário na tela do dispositivo.
-
Clique Toque único
e escolha um tipo de interação na tela na lista suspensa. Por exemplo, escolha Toque único.
- Clique em Configurar ação
para configurar ainda mais a ação, para maior granularidade.
- Clique em Executar ação
para executar a ação que você acabou de gravar, no painel Ações gravadas .
Os seletores do WebView como seletores nativos podem ser encontrados na barra de ações . Quando alternado, ele tenta converter todos os seletores futuros de WebView para Native. Isso permite uma interação melhor, mais rápida e mais familiar com os elementos da interface do usuário dentro das visualizações da web.
Você pode interagir com o seu dispositivo por meio da barra de ação ou indicando suas ações na tela para gravar as etapas. Por exemplo, você pode gravar e gerenciar suas ações para preparar fluxos de trabalho de automação móvel no MDM. Para obter mais informações, consulte Criar fluxo de trabalho usando ações registradas.
A tabela a seguir lista as ações que você pode realizar usando Ações Gravadas.
Ação |
Description |
Procedimento |
---|---|---|
Executar |
Execute a ação. |
Clique no botão Reproduzir em uma ação para executá-la. |
Copiar |
Copie a ação para sua área de transferência. Você pode usar o Importar Ações Gravadas no Studio para colar isso no seu fluxo de trabalho. |
Clique no botão Copiar para copiar a ação para sua área de transferência. |
Excluir |
Exclua a ação. |
Clique em Excluir para remover a ação da lista. De maneira alternativa, você pode clicar em Limpar tudo para remover todas as ações. |
Reordenar |
Reordene a lista de ações em ordem alternativa. |
Arraste e solte uma ação para uma posição diferente na lista. |
Aguardar Atualização da Página |
Aguarde a origem da página recuperar uma captura de tela de cada ação. |
Ative a alternância Aguardar uma nova captura de tela após cada ação. |
- Condições de interação do dispositivo
- Inicialização de um aplicativo
- Interação com o dispositivo
- Interação na tela
- Barra de ação
- Gravar ação do elemento
- Usando ação de elemento de registro
- Seletores de modo de exibição da Web como seletores nativos
- Uso de seletores do WebView como seletores nativos
- Ações gravadas