- Visão geral
- Automação de Interface Gráfica
- Aplicativos e tecnologias automatizados com a Automação de Interface Gráfica
- Compatibilidade do projeto
- UI-ANA-016 - Extrair URL de navegador aberto
- UI-ANA-017 - ContinuarComErro verdadeiro
- UI-ANA-018 - Listar atividades de OCR/Imagem
- UI-DBP-006 - Uso do contêiner
- UI-DBP-013 - Uso Incorreto da Automação do Excel
- UI-DBP-030 - Uso de variáveis proibidas em seletores
- UI-DBP-031 - Verificação de atividades
- UI-PRR-001 - Simular clique
- UI-PRR-002 - Simular Digitação
- UI-PRR-003 - Uso incorreto do aplicativo aberto
- UI-PRR-004 - Atrasos Embutidos em Código
- UI-REL-001 - Idx grande em Seletores
- UI-SEC-004 - Dados de e-mail do seletor
- UI-SEC-010 — restrições de app/URL
- UI-USG-011 - Atributos não permitidos
- UX-SEC-010 — restrições de app/URL
- UX-DBP-029 - Uso de senha não segura
- UI-PST-001 - Nível de log de auditoria nas configurações do projeto
- Ferramenta de Migração de Navegador do UiPath
- Região do Recorte
- Computer Vision Recorder
- Índice de atividades
- Ativar
- Anchor Base
- Anexar Navegador
- Anexar Janela
- Block User Input
- Texto Explicativo
- Marcar
- Click
- Clicar na Imagem
- Click Image Trigger
- Click OCR Text
- Clicar no Texto
- Click Trigger
- Close Application
- Fechar Guia
- Close Window
- Context Aware Anchor
- Copy Selected Text
- Element Attribute Change Trigger
- Element Exists
- Element Scope
- Element State Change Trigger
- Export UI Tree
- Extrair Dados Estruturados
- Find Children
- Localizar Elemento
- Localizar Imagem
- Find Image Matches
- Find OCR Text Position
- Localizar Elemento Relativo
- Find Text Position
- Get Active Window
- Get Ancestor
- Get Attribute
- Get Event Info
- Get From Clipboard
- Obter Texto Completo
- Get OCR Text
- Get Password
- Get Position
- Get Source Element
- Get Text
- Obter Texto Visível
- Voltar
- Avançar
- Ir para a Página Inicial
- Google Cloud Vision OCR
- Hide Window
- Highlight
- Hotkey Trigger
- Hover
- Focalizar Imagem
- Hover OCR Text
- Focalizar Texto
- Imagem Existe
- Indicate On Screen
- Inject .NET Code
- Inject Js Script
- Invoke ActiveX Method
- Key Press Trigger
- Carregar Imagem
- Maximize Window
- Microsoft Azure Computer Vision OCR
- Microsoft OCR
- Microsoft Project Oxford Online OCR
- Minimize Window
- Monitorar eventos
- Mouse Trigger
- Move Window
- Navegar Para
- OCR Text Exists
- On Element Appear
- On Element Vanish
- Aparecer Na Imagem
- Desaparecer Na Imagem
- Abrir Aplicativo
- Abrir Navegador
- Atualizar Navegador
- Replay User Event
- Restore Window
- Save Image
- Select Item
- Select Multiple Items
- Enviar Tecla de Acesso
- Set Clipping Region
- Set Focus
- Set Text
- Set To Clipboard
- Set Web Attribute
- Show Window
- Iniciar Processo
- System Trigger
- Take Screenshot
- Tesseract OCR
- Texto Existe
- Dica de ferramenta
- Type Into
- Digitar Texto Seguro
- Use Foreground
- Wait Attribute
- Esperar Elemento Desaparecer
- Aguardar Imagem Desaparecer
- Application event trigger
- Block User Input
- Check/Uncheck
- Check App State
- Check Element
- Click
- Click Event Trigger
- Drag and Drop
- Extract Table Data
- For Each UI Element
- Get Browser Data
- Obter Área de Transferência
- Get Text
- Get URL
- Go To URL
- Highlight
- Hover
- Inject Js Script
- Keyboard Shortcuts
- Keypress Event Trigger
- Mouse Scroll
- Navigate Browser
- Select Item
- Set Browser Data
- Definir Área de Transferência
- Set Runtime Browser
- Set Focus
- Set Text
- Take Screenshot
- Type Into
- Unblock User Input
- Use Application/Browser
- Window operation
- Realize pesquisa no navegador e recupere resultados usando APIs de Automação de interface gráfica
- Navegação na Web
- Localizar imagens
- Clicar em imagens
- Disparar e monitorar eventos
- Criar e substituir arquivos
- Páginas HTML: extrair e manipular informações
- Manipulação de janelas
- Seleção automatizada de listas
- Localizar e manipular elementos de janela
- Gerenciar automação de texto
- Carregar e processar imagens
- Gerenciar ações ativadas pelo mouse
- Automatizar o runtime de aplicativos
- Execução automatizada de um aplicativo local
- Navegação em navegador
- Automação da Web
- Exemplo de escopo de disparador
- Habilitar o suporte de Automação de Interface Gráfica no DevExpress
- Computer Vision Local Server
- Automação Móvel
- Notas de versão
- Sobre a arquitetura de automação de dispositivos móveis
- Compatibilidade do projeto
- Get Log Types
- Get Logs
- Get Page Source
- Get Device Orientation
- Get Session Identifier
- Instalar Aplicativo
- Gerenciar Aplicativo Atual
- Manage Other App
- Open DeepLink
- Abrir URL
- Mobile Device Connection
- Deslizar Direcional
- Padrão de Desenho
- Positional Swipe
- Press Hardware Button
- Set Device Orientation
- Take Screenshot
- Obter parte da captura de tela
- Element Exists
- Execute Command
- Get Attribute
- Get Selected Item
- Get Text
- Set Selected Item
- Set Text
- Deslizar
- Tap
- Type Text
- Terminal
- Notas de versão
- Sobre o pacote de atividades Terminal
- Compatibilidade do projeto
- Melhores práticas
- Find Text
- Get Color At Position
- Get Cursor Position
- Get Field
- Obter Campo na Posição
- Obter Área da Tela
- Get Text
- Obter Texto na Posição
- Mover Cursor
- Mover cursor para o texto
- Enviar Tecla de Controle
- Send Keys
- Send Keys Secure
- Set Field
- Definir Campo na Posição
- Terminal Session
- Aguardar Texto do Campo
- Aguardar Texto da Tela
- Aguardar Texto na Posição

Atividades do UIAutomation
Para automatizar ações específicas na interface do usuário, é necessário interagir com diversas janelas, botões, listas suspensas, entre outros. Uma das maneiras em que os elementos de interface gráfica podem ser identificados é usar sua posição na tela, mas isso pode não ser confiável.
Para superar esse problema, o Studio usa o que chamamos de seletores. Eles armazenam os atributos de um elemento da interface gráfica e seus pais, na forma de um fragmento XML.
Na maioria das vezes, os seletores são gerados automaticamente pelo Studio e não requerem mais nenhuma entrada sua, especialmente se os aplicativos que você estiver tentando automatizar tiverem uma interface de usuário estática.
No entanto, alguns softwares possuem layouts que se modificam e atribuem nós com valores voláteis, como alguns aplicativos web. O Studio não pode prever essas alterações e, portanto, você pode ter que gerar manualmente alguns seletores.
Um seletor tem a seguinte estrutura:
<node_1/><node_2/>...<node_N/>
<node_1/><node_2/>...<node_N/>
O último nó representa o elemento GUI que interessa a você e todos os anteriores representam os pais desse elemento. <node_1> geralmente é referido como um nó raiz, e representa a janela superior do aplicativo.
Cada nó contém um ou mais atributos que ajudam a identificar um nível específico do aplicativo selecionado.
Cada nó tem o seguinte formato:
<ui_system attr_name_1='attr_value_1' ... attr_name_N='attr_value_N'/>
<ui_system attr_name_1='attr_value_1' ... attr_name_N='attr_value_N'/>
Cada atributo tem um valor atribuído. É importante escolher atributos com um valor constante. Se o valor de um atributo mudar a cada vez que o aplicativo for iniciado, o seletor não conseguirá identificar corretamente o elemento.
Os seletores são exibidos no painel Propriedades de atividades, em Entrada > Destino > Seletor. Todas as atividades relacionadas aos elementos gráficos têm essa propriedade.
A janela Opções de seleção permite selecionar e editar um destino. Para acessar essa janela, no painel Designer de Fluxo de Trabalho, clique no botão Opções no corpo de uma atividade e selecione Indicar destino na tela ou Editar destino.
A janela Editor de Seletor permite que você veja o seletor gerado automaticamente, edite-o e seus atributos. Para acessar essa janela, use o botão Reticências próximo ao campo Seletor, no painel Propriedades.
Opção |
Description |
---|---|
Validar |
O botão mostra o status do seletor, verificando a validade da definição do seletor e a visibilidade do elemento de destino na tela. O botão Validar possui três estados:
O botão está correlacionado aos estados de validação do UI Explore. |
Indicar Elemento |
Indica um novo elemento da interface gráfica para substituir o anterior. |
Reparar |
Permite que você indique novamente o mesmo elemento de interface gráfica de destino e repare o seletor. Essa operação não substitui completamente o seletor anterior. O botão fica disponível apenas quando o seletor for inválido. |
Highlight |
Traz o elemento de destino para o primeiro plano. O destaque continua até que a opção seja desabilitada com um clique. O botão será habilitado apenas se o seletor for válido. |
Editar Atributos |
Contém todos os componentes da aplicação necessários para identificar a aplicação de destino (uma janela, botão, etc.). Esta seção é editável. |
Editar Seletor |
Contém o seletor real. Esta seção é editável. |
Abrir no Explorador de Interface Gráfica |
Inicia o UI Explorer. A opção fica habilitada apenas para seletores válidos. |
As seguintes tabelas apresentam a compatibilidade entre tags e atributos utilizados para criar seletores e a capacidade dos seletores:
WND
Atributo | Description |
Fuzzy |
RegEx |
Diferenciação de maiúsculas e minúsculas |
---|---|---|---|---|
app | O nome do arquivo do aplicativo que contém o elemento da interface do usuário. |
|
|
|
cls | Nome de classe da janela que contém o elemento de interface gráfica. |
|
|
|
title | O título da janela do elemento de interface gráfica. |
|
|
|
aaname | Nome Active Accessibility do elemento de interface gráfica. |
|
|
|
ctrlname (WinForms) | Nome WinForms do elemento de interface gráfica. |
|
|
|
ctrlid (WinForms) | ID de controle Win32 da janela que contém o elemento de interface gráfica. |
|
|
|
idx | O número da instância do elemento de interface gráfica. |
|
|
|
tid | ID do thread que criou o elemento de interface gráfica. |
|
|
|
pid | ID do processo do aplicativo que contém o elemento de interface gráfica. |
|
|
|
isremoteapp |
|
|
| |
aastate | Estado de Active Accessibility do elemento de interface gráfica. |
|
|
|
sapClient (SAP) | Cliente SAP selecionado na tela de logon. |
|
|
|
sapLanguage (SAP) | Idioma SAP especificado na tela de logon. |
|
|
|
sapProgram (SAP) | Programa SAP de origem que está sendo executado no momento. |
|
|
|
sapScreen (SAP) | Número da tela do SAP exibido no momento. |
|
|
|
sapSession (SAP) | Número da sessão SAP, também exibido na barra de status do SAP GUI. |
|
|
|
sapSysName (SAP) | Nome do sistema SAP. |
|
|
|
sapSysNumber (SAP) | Servidor de aplicativos SAP. |
|
|
|
sapSysSessionId (SAP) | Todas as sessões da GUI (interface gráfica do usuário) do SAP da mesma conexão são representadas no servidor com o mesmo SysSessionId .
|
|
|
|
sapTransaction (SAP) | Transação SAP que está sendo executada no momento. |
|
|
|
sapUser (SAP) | Usuário do SAP logado no sistema. |
|
|
|
HTML
Atributo | Description |
Fuzzy |
RegEx |
Diferenciação de maiúsculas e minúsculas |
---|---|---|---|---|
url | O URL da página da web que contém o elemento atual. |
|
|
|
htmlwindowname |
|
|
| |
title | O título da janela do elemento. |
|
|
|
class | Nome de classe do contexto acessível do elemento. |
|
|
|
app | O nome do arquivo do aplicativo que contém o elemento de interface gráfica |
|
|
|
idx | O número da instância do elemento de interface gráfica. |
|
|
|
pid | ID do processo do aplicativo que contém o elemento de interface gráfica. |
|
|
|
tid | ID do thread que criou o elemento de interface gráfica. |
|
|
|
excludehwnd |
|
|
| |
bsid (Browser Session ID) |
|
|
| |
isremoteapp |
|
|
|
WEBCTRL
Os atributos tag e id usam valores de strings. Todos os outros atributos WEBCTRL têm valores dinâmicos.
Atributo | Description |
Fuzzy |
RegEx |
Diferenciação de maiúsculas e minúsculas |
---|---|---|---|---|
tag | Tag HTML do elemento. |
|
|
|
idx | O número da instância do elemento de interface gráfica. |
|
|
|
aaname | Nome Active Accessibility do elemento de interface gráfica. |
|
|
|
name | Propriedade de nome do elemento de interface gráfica. |
|
|
|
id | O identificador exclusivo do elemento de interface gráfica. |
|
|
|
parentid | Atributo ID HTML do primeiro elemento ancestral que tem ID. |
|
|
|
class |
|
|
| |
css-selector |
|
|
| |
innertext | A propriedade innerText de um elemento HTML. |
|
|
|
visibleinnertext |
|
|
| |
isleaf |
|
|
| |
parentclass | Atributo de classe HTML do primeiro elemento ancestral que tem classe. |
|
|
|
parentname | Atributo de nome HTML do primeiro elemento de interface gráfica ancestral que tem nome. |
|
|
|
src | Especifica o local ou origem do elemento. |
|
|
|
href | O URL da página para a qual o link vai. |
|
|
|
tableCol | Número da coluna da tabela que contém o elemento de interface gráfica. |
|
|
|
tableRow | Número da linha da tabela que contém o elemento de interface gráfica. |
|
|
|
colName | O nome da coluna da tabela que contém o elemento de interface gráfica. |
|
|
|
rowName | O nome da linha da tabela que contém o elemento de interface gráfica. |
|
|
|
aria-label | Atributo de rótulo Aria do elemento. |
|
|
|
aria-labelledby |
|
|
|
CTRL
Atributo | Description |
Fuzzy |
RegEx |
Diferenciação de maiúsculas e minúsculas |
---|---|---|---|---|
Role | A propriedade de função "Active Accessibility" do elemento. |
|
|
|
name | Propriedade de nome do elemento de interface gráfica. |
|
|
|
automationid | O ID de "Automação de interface gráfica" do elemento. |
|
|
|
labeledby | A "Automação de interface gráfica" rotulada por atributo do elemento de interface gráfica. |
|
|
|
aastate | Estado de Active Accessibility do elemento de interface gráfica. |
|
|
|
virtualname | O nome do elemento fornecido pela tecnologia de acessibilidade subjacente. |
|
|
|
text | O texto do elemento de interface gráfica conforme aparece na tela. |
|
|
|
rowName | O nome da linha da tabela que contém o elemento de interface gráfica. |
|
|
|
idx | O número da instância do elemento de interface gráfica. |
|
|
|
UIA
Atributo | Description |
Fuzzy |
RegEx |
Diferenciação de maiúsculas e minúsculas |
---|---|---|---|---|
accelkey (Accelerator Key) |
|
|
| |
acskey (Access Key) |
|
|
| |
automationid | O ID de "Automação de interface gráfica" do elemento. |
|
|
|
cls | Nome de classe da janela que contém o elemento de interface gráfica. |
|
|
|
helpText | A string de ajuda do elemento de interface gráfica. |
|
|
|
legacyAccHelp (Legacy Accessible Help) |
|
|
| |
enabled |
|
|
| |
kbfocus (Is Keyboard Focusable) |
|
|
| |
ispwd (Is Password) |
|
|
| |
itemstatus |
|
|
| |
itemtype |
|
|
| |
rtid (Runtime ID) |
|
|
| |
Role | A propriedade de função "Active Accessibility" do elemento. |
|
|
|
name | Propriedade de nome do elemento de interface gráfica. |
|
|
|
pid | ID do processo do aplicativo que contém o elemento de interface gráfica. |
|
|
|
tableRow | Número da linha da tabela que contém o elemento de interface gráfica. |
|
|
|
tableCol | Número da coluna da tabela que contém o elemento de interface gráfica. |
|
|
|
rowName | O nome da linha da tabela que contém o elemento de interface gráfica. |
|
|
|
colName | O nome da coluna da tabela que contém o elemento de interface gráfica. |
|
|
|
idx | O número da instância do elemento de interface gráfica. |
|
|
|
Java
Atributo | Description |
Fuzzy |
RegEx |
Diferenciação de maiúsculas e minúsculas |
---|---|---|---|---|
Role | A propriedade de função "Active Accessibility" do elemento. |
|
|
|
name | Propriedade de nome do elemento de interface gráfica. |
|
|
|
virtualname | O nome do elemento fornecido pela tecnologia de acessibilidade subjacente. |
|
|
|
javastate | O estado do elemento de interface gráfica conforme fornecido pela "Java Accessibility Bridge". |
|
|
|
tableRow | Número da linha da tabela que contém o elemento de interface gráfica. |
|
|
|
tableCol | Número da coluna da tabela que contém o elemento de interface gráfica. |
|
|
|
rowName | O nome da linha da tabela que contém o elemento de interface gráfica. |
|
|
|
colName | O nome da coluna da tabela que contém o elemento de interface gráfica. |
|
|
|
idx | O número da instância do elemento de interface gráfica. |
|
|
|
SAP
Atributo | Description |
Fuzzy |
RegEx |
Diferenciação de maiúsculas e minúsculas |
---|---|---|---|---|
id | O identificador exclusivo do elemento de interface gráfica. |
|
|
|
leafid |
Esse atributo não fica exposto no painel Atributo porque é mutuamente exclusivo com o atributo id. Ele pode ser adicionado manualmente. |
|
|
|
tableRow | Número da linha da tabela que contém o elemento de interface gráfica. |
|
|
|
tableCol | Número da coluna da tabela que contém o elemento de interface gráfica. |
|
|
|
colName | O nome da coluna da tabela que contém o elemento de interface gráfica. |
|
|
|
relpath |
|
|
| |
itemId |
|
|
|
Silverlight
Observe que a tag Silverlight não é compatível com os recursos Fuzzy, RegEx e Diferenciação de maiúsculas e minúsculas.