- Visão geral
- Automação de Interface Gráfica
- UI-ANA-016 - Extrair URL de navegador aberto
- UI-ANA-017 - ContinuarComErro verdadeiro
- UI-ANA-018 - Listar atividades de OCR/Imagem
- UI-DBP-006 - Uso do contêiner
- UI-DBP-013 - Uso Incorreto da Automação do Excel
- UI-DBP-030 - Uso de variáveis proibidas em seletores
- SR-DB-021 - Tempo limite embutido em código
- UI-PRR-001 - Simular clique
- UI-PRR-002 - Simular Digitação
- UI-PRR-003 - Uso incorreto do aplicativo aberto
- UI-PRR-004 - Atrasos Embutidos em Código
- UI-REL-001 - Idx grande em Seletores
- UI-SEC-004 - Dados de e-mail do seletor
- UI-SEC-010 — restrições de app/URL
- UI-USG-011 - Atributos não permitidos
- SY-USG-013 - Invocação do arquivo privado
- SY-USG-014 - Espaços reservados do modelo de execução incorretos
- Aplicativos e tecnologias automatizados com a Automação de Interface Gráfica
- Ferramenta de Migração de Navegador do UiPath
- Computer Vision Recorder
- Click
- Hover
- Digitar Texto Seguro
- Enviar Tecla de Acesso
- Type Into
- Marcar
- Select Item
- Select Multiple Items
- Get Text
- Set Text
- Ativar
- Highlight
- Set Focus
- Anchor Base
- Context Aware Anchor
- Localizar Elemento Relativo
- Indicate On Screen
- Element Exists
- Localizar Elemento
- Esperar Elemento Desaparecer
- Find Children
- Get Ancestor
- Element Scope
- Get Attribute
- Set Clipping Region
- Get Position
- Take Screenshot
- Wait Attribute
- On Element Appear
- On Element Vanish
- Clicar no Texto
- Focalizar Texto
- Find Text Position
- Obter Texto Completo
- Obter Texto Visível
- Extrair Dados Estruturados
- Texto Existe
- Click OCR Text
- Hover OCR Text
- Get OCR Text
- Find OCR Text Position
- Microsoft OCR
- Microsoft Project Oxford Online OCR
- Microsoft Azure Computer Vision OCR
- Tesseract OCR
- Google Cloud Vision OCR
- OCR Text Exists
- Clicar na Imagem
- Focalizar Imagem
- Find Image Matches
- Imagem Existe
- Localizar Imagem
- Aguardar Imagem Desaparecer
- Aparecer Na Imagem
- Desaparecer Na Imagem
- Carregar Imagem
- Save Image
- Anexar Navegador
- Fechar Guia
- Voltar
- Avançar
- Ir para a Página Inicial
- Injetar script de JS
- Navegar Para
- Abrir Navegador
- Atualizar Navegador
- Set Web Attribute
- Anexar Janela
- Close Window
- Get Active Window
- Hide Window
- Maximize Window
- Minimize Window
- Move Window
- Restore Window
- Show Window
- Export UI Tree
- Invoke ActiveX Method
- Inject .NET Code
- Click Trigger
- Key Press Trigger
- Click Image Trigger
- System Trigger
- Hotkey Trigger
- Mouse Trigger
- Get Event Info
- Monitorar eventos
- Get Source Element
- Replay User Event
- Block User Input
- Use Foreground
- Element Attribute Change Trigger
- Element State Change Trigger
- Texto Explicativo
- Copy Selected Text
- Get From Clipboard
- Set To Clipboard
- Close Application
- Abrir Aplicativo
- Iniciar Processo
- Get Password
- Dica de ferramenta
- Click Picture on Screen
- Click Toolbar Button
- Read Statusbar
- Selecionar datas no calendário
- Select Menu Item
- Expand Tree
- Call Transaction
- SAP Logon
- SAP Login
- Table Cell Scope
- SAP Session Attributes Change Trigger
- Expand ALV Tree
- Expand ALV Hierarchical Table
- Use Application/Browser
- Check App State
- Check/Uncheck
- Click
- Extract Table Data
- Get Text
- Get URL
- Go To URL
- Highlight
- Hover
- Keyboard Shortcuts
- Navigate Browser
- Select Item
- Take Screenshot
- Type Into
- Get Attribute
- Get Browser Data
- Set Browser Data
- Mouse Scroll
- Inject Js Script
- Drag and Drop
- For Each UI Element
- Application event trigger
- Click Event Trigger
- Keypress Event Trigger
- Set Text
- Check Element
- Preencher Formulário
- Uso das atividades do Computer Vision
- CV Screen Scope
- CV Click
- CV Element Exists
- CV Get Text
- CV Highlight
- CV Hover
- CV Type Into
- CV Refresh
- CV Dropdown Select
- CV Check
- CV Extract Table
- Realize pesquisa no navegador e recupere resultados usando APIs de Automação de interface gráfica
- Navegação na Web
- Localizar imagens
- Clicar em imagens
- Disparar e monitorar eventos
- Criar e substituir arquivos
- Páginas HTML: extrair e manipular informações
- Manipulação de janelas
- Seleção automatizada de listas
- Localizar e manipular elementos de janela
- Gerenciar automação de texto
- Carregar e processar imagens
- Gerenciar ações ativadas pelo mouse
- Automatizar o runtime de aplicativos
- Execução automatizada de um aplicativo local
- Navegação em navegador
- Automação da Web
- Exemplo de escopo de disparador
- Computer Vision Local Server
- Automação Móvel
- Notas de versão
- Compatibilidade do projeto
- Get Log Types
- Get Logs
- Get Page Source
- Get Device Orientation
- Get Session Identifier
- Instalar Aplicativo
- Gerenciar Aplicativo Atual
- Manage Other App
- Open DeepLink
- Abrir URL
- Mobile Device Connection
- Positional Swipe
- Press Hardware Button
- Set Device Orientation
- Take Screenshot
- Obter parte da captura de tela
- Element Exists
- Execute Command
- Get Attribute
- Get Selected Item
- Get Text
- Set Selected Item
- Set Text
- Deslizar
- Tap
- Type Text
- Padrão de Desenho
- Terminal
- Notas de versão
- Sobre o pacote de atividades Terminal
- Compatibilidade do projeto
- Terminal Session
- Obter Área da Tela
- Obter Texto na Posição
- Get Color At Position
- Obter Campo na Posição
- Definir Campo na Posição
- Aguardar Texto na Posição
- Send Keys
- Mover Cursor
- Send Keys Secure
- Get Text
- Find Text
- Mover cursor para o texto
- Enviar Tecla de Controle
- Get Field
- Aguardar Texto da Tela
- Aguardar Texto do Campo
- Set Field
Uso das atividades do Computer Vision
Todas as atividades de Visão Computacional funcionam apenas quando dentro de uma atividade CV Screen Scope , que estabelece a conexão real com o servidor de rede neural, permitindo que você analise a interface do usuário dos aplicativos que deseja automatizar.
Qualquer fluxo de trabalho usando as atividades de visão computacional deve começar arrastando uma atividade de escopo de tela de currículo para o painel do designer.
Feito isso, o botão Indicar na tela no corpo da atividade do escopo pode ser usado para selecionar a área da tela que você deseja trabalhar.
Depois que uma atividade de Escopo de tela CV estiver configurada corretamente, você poderá começar a usar todas as outras atividades do pacote para criar sua automação.
As atividades que executam ações nos elementos da interface do usuário podem ser configuradas em tempo de design por meio do botão Indicar na tela presente no corpo das atividades. As atividades que possuem esse recurso são:
- CV Screen Scope
- CV Dropdown Select
- CV Check
- CV Extract Table
- CV Click
- CV Element Exists
- CV Get Text
- CV Highlight
- CV Hover
- CV Type Into
Clicar no botão Indicar na tela (tecla de atalho: I) abre o assistente auxiliar.
Indicar
O campo Indicar especifica o que você está indicando no momento. Quando o helper é aberto pela primeira vez, o Alvo precisa ser indicado. Para cada alvo possível, o assistente seleciona automaticamente uma âncora, se houver uma disponível.
Mostrar elementos
O botão Mostrar Elementos (tecla de atalho: s) no assistente destaca todos os elementos da interface do usuário que foram identificados pela análise da Visão Computacional, tornando mais fácil para você escolher com o que interagir.
Atualização da tela
O botão Screen Refresh (atalho: F5) pode ser usado em tempo de design, caso algo mude no aplicativo de destino, permitindo que você envie uma nova imagem para o servidor Computer Vision para ser analisada novamente.
Atualização de tela atrasada
O botão Atualização de tela atrasada (tecla de atalho: F2) executa uma atualização do aplicativo de destino após aguardar 3 segundos. A direção de rolagem automática em tempo de execução também é capturada (propriedade ScrollDirection).
Relativo a
As atividades que possuem o assistente Indicar também incluem uma funcionalidade Relativo a , na qual o destino é um elemento estável e você arrasta uma distância relativa a ele. O destino principal, o estável, age como um proxy para o segundo destino, o relativo.
Isso é útil quando você deseja selecionar uma área que não corresponde aos elementos da interface do usuário que o mecanismo do Computer Vision identificou ou quando você deseja selecionar uma área geral na interface do usuário sem especificar um determinado elemento de interface gráfica.
O destino relativo pode ser um único ponto ou uma seleção de área no aplicativo que você está automatizando.
A seleção de ponto único é normalmente colocada em um local onde a detecção do Computer Vision não é precisa e pode não encontrar certos elementos. As atividades que usam a seleção de ponto único são CV Click, CV Hover e CV Type Into.
A seleção de área é usada por CV Get Text e é ativada automaticamente para esta atividade.
Como regra geral, qualquer âncora que você adicionar deve ser encontrada no runtime, o que significa que, se pelo menos uma âncora não for encontrada, toda a seleção não será encontrada. Portanto, as âncoras precisam ser elementos estáveis que você tem certeza de que o Computer Vision pode detectar todas as vezes e que não mudam drasticamente na UI durante o runtime.
Digamos que você queira clicar no botão "X" na imagem abaixo. Você pode observar que o destino está no botão "X", mas o clique acontece no círculo verde; isso ocorre porque você escolheu clicar em relação ao botão "X". Portanto, a menos que o Computer Vision não possa detectar um determinado elemento de interface gráfica, não há necessidade de usar o recurso Relativo a .
Para selecionar o botão "X" e não uma área relativa a ele, certifique-se de que o botão "X" tenha um contorno verde nele.
Se o botão "X" não estiver estável, você pode clicar em relativo a um elemento estável.
Tabela Indicação
As atividades de Visão Computacional também oferecem suporte para tabelas de indicação. O direcionamento em tabelas pode ser feito selecionando uma célula com a qual você deseja interagir, o que solicita que a rede neural identifique automaticamente a coluna e a linha que definem a posição dessa célula, exibindo-as em uma grade.
Por padrão, os nomes da coluna e da linha são usados no descritor para identificar a localização da célula. Clicar nos índices de coluna e linha os adiciona automaticamente ao seu descritor. Isso pode ser útil em situações em que os nomes de coluna e linha são alterados, mas você deseja extrair a mesma posição de uma célula.
Após indicar o Targetcom sucesso, o wizard fecha e a atividade é configurada com o target selecionado.