- Visão geral
- Automação de Interface Gráfica
- Aplicativos e tecnologias automatizados com a Automação de Interface Gráfica
- Compatibilidade do projeto
- UI-ANA-016 - Extrair URL de navegador aberto
- UI-ANA-017 - ContinuarComErro verdadeiro
- UI-ANA-018 - Listar atividades de OCR/Imagem
- UI-DBP-006 - Uso do contêiner
- UI-DBP-013 - Uso Incorreto da Automação do Excel
- UI-DBP-030 - Uso de variáveis proibidas em seletores
- UI-DBP-031 - Activity verification
- UI-PRR-001 - Simular clique
- UI-PRR-002 - Simular Digitação
- UI-PRR-003 - Uso incorreto do aplicativo aberto
- UI-PRR-004 - Atrasos Embutidos em Código
- UI-REL-001 - Idx grande em Seletores
- UI-SEC-004 - Dados de e-mail do seletor
- UI-SEC-010 — restrições de app/URL
- UI-USG-011 - Atributos não permitidos
- UX-SEC-010 — restrições de app/URL
- UX-DBP-029 - Uso de senha não segura
- UI-PST-001 - Nível de log de auditoria nas configurações do projeto
- Ferramenta de Migração de Navegador do UiPath
- Região do Recorte
- Computer Vision Recorder
- Índice de atividades
- Ativar
- Anchor Base
- Anexar Navegador
- Anexar Janela
- Block User Input
- Texto Explicativo
- Marcar
- Click
- Clicar na Imagem
- Click Image Trigger
- Click OCR Text
- Clicar no Texto
- Click Trigger
- Close Application
- Fechar Guia
- Close Window
- Context Aware Anchor
- Copy Selected Text
- Element Attribute Change Trigger
- Element Exists
- Element Scope
- Element State Change Trigger
- Export UI Tree
- Extrair Dados Estruturados
- Find Children
- Localizar Elemento
- Localizar Imagem
- Find Image Matches
- Find OCR Text Position
- Localizar Elemento Relativo
- Find Text Position
- Get Active Window
- Get Ancestor
- Get Attribute
- Get Event Info
- Get From Clipboard
- Obter Texto Completo
- Get OCR Text
- Get Password
- Get Position
- Get Source Element
- Get Text
- Obter Texto Visível
- Voltar
- Avançar
- Ir para a Página Inicial
- Google Cloud Vision OCR
- Hide Window
- Highlight
- Hotkey Trigger
- Hover
- Focalizar Imagem
- Hover OCR Text
- Focalizar Texto
- Imagem Existe
- Indicate On Screen
- Inject .NET Code
- Inject Js Script
- Invoke ActiveX Method
- Key Press Trigger
- Carregar Imagem
- Maximize Window
- Microsoft Azure Computer Vision OCR
- Microsoft OCR
- Microsoft Project Oxford Online OCR
- Minimize Window
- Monitorar eventos
- Mouse Trigger
- Move Window
- Navegar Para
- OCR Text Exists
- On Element Appear
- On Element Vanish
- Aparecer Na Imagem
- Desaparecer Na Imagem
- Abrir Aplicativo
- Abrir Navegador
- Atualizar Navegador
- Replay User Event
- Restore Window
- Save Image
- Select Item
- Select Multiple Items
- Enviar Tecla de Acesso
- Set Clipping Region
- Set Focus
- Set Text
- Set To Clipboard
- Set Web Attribute
- Show Window
- Iniciar Processo
- System Trigger
- Take Screenshot
- Tesseract OCR
- Texto Existe
- Dica de ferramenta
- Type Into
- Digitar Texto Seguro
- Use Foreground
- Wait Attribute
- Esperar Elemento Desaparecer
- Aguardar Imagem Desaparecer
- Application event trigger
- Check/Uncheck
- Check App State
- Check Element
- Click
- Click Event Trigger
- Drag and Drop
- Extract Table Data
- For Each UI Element
- Get Browser Data
- Obter Área de Transferência
- Get Text
- Get URL
- Go To URL
- Highlight
- Hover
- Inject Js Script
- Keyboard Shortcuts
- Keypress Event Trigger
- Mouse Scroll
- Navigate Browser
- Select Item
- Set Browser Data
- Definir Área de Transferência
- Set Runtime Browser
- Set Text
- Take Screenshot
- Type Into
- Use Application/Browser
- Window Operation
- Realize pesquisa no navegador e recupere resultados usando APIs de Automação de interface gráfica
- Navegação na Web
- Localizar imagens
- Clicar em imagens
- Disparar e monitorar eventos
- Criar e substituir arquivos
- Páginas HTML: extrair e manipular informações
- Manipulação de janelas
- Seleção automatizada de listas
- Localizar e manipular elementos de janela
- Gerenciar automação de texto
- Carregar e processar imagens
- Gerenciar ações ativadas pelo mouse
- Automatizar o runtime de aplicativos
- Execução automatizada de um aplicativo local
- Navegação em navegador
- Automação da Web
- Exemplo de escopo de disparador
- Habilitar o suporte de Automação de Interface Gráfica no DevExpress
- Computer Vision Local Server
- Automação Móvel
- Notas de versão
- Sobre a arquitetura de automação de dispositivos móveis
- Compatibilidade do projeto
- Get Log Types
- Get Logs
- Get Page Source
- Get Device Orientation
- Get Session Identifier
- Instalar Aplicativo
- Gerenciar Aplicativo Atual
- Manage Other App
- Open DeepLink
- Abrir URL
- Mobile Device Connection
- Deslizar Direcional
- Padrão de Desenho
- Positional Swipe
- Press Hardware Button
- Set Device Orientation
- Take Screenshot
- Obter parte da captura de tela
- Element Exists
- Execute Command
- Get Attribute
- Get Selected Item
- Get Text
- Set Selected Item
- Set Text
- Deslizar
- Tap
- Type Text
- Terminal
- Notas de versão
- Sobre o pacote de atividades Terminal
- Compatibilidade do projeto
- Melhores práticas
- Find Text
- Get Color At Position
- Get Cursor Position
- Get Field
- Obter Campo na Posição
- Obter Área da Tela
- Get Text
- Obter Texto na Posição
- Mover Cursor
- Mover cursor para o texto
- Enviar Tecla de Controle
- Send Keys
- Send Keys Secure
- Set Field
- Definir Campo na Posição
- Terminal Session
- Aguardar Texto do Campo
- Aguardar Texto da Tela
- Aguardar Texto na Posição

Atividades do UIAutomation
Esta seção inclui atividades relacionadas ao Computer Vision encontradas no pacote UiPath.UIAutomation.Activities.
- CV Check
- CV Click
- CV Dropdown Select
- CV Element Exists
- CV Extract Table
- CV Get Text
- CV Highlight
- CV Hover
- CV Refresh
- CV Screen Scope
- CV Type Into
As atividades do Computer Vision contêm atividades de Automação de Interface Gráfica fundamentais refatoradas, como Click, Type Intoou Get Text. A principal diferença entre as atividades do Computer Vision e seus homólogos clássicos é seu uso da rede neural Computer Vision desenvolvida internamente pelo nosso departamento de Machine Learning. A rede neural é capaz de identificar elementos da interface gráfica, como botões, campos de entrada de texto ou caixas de seleção, sem o uso de seletores.
Criadas principalmente para automação em ambientes de desktop virtuais, como máquinas Citrix, essas atividades ignoram o problema de seletores inexistentes ou não confiáveis, pois enviam imagens da janela que você está automatizando para a rede neural, onde é analisado e todos os elementos da IU são identificados e rotulados de acordo com o que são. As âncoras inteligentes são usadas para identificar a localização exata do elemento de interface gráfica com o qual você está interagindo, garantindo que a ação que você pretende realizar seja bem-sucedida.
Todas as atividades de Visão Computacional funcionam apenas quando dentro de uma atividade CV Screen Scope , que estabelece a conexão real com o servidor de rede neural, permitindo que você analise a interface do usuário dos aplicativos que deseja automatizar.
Qualquer fluxo de trabalho usando as atividades de visão computacional deve começar arrastando uma atividade de escopo de tela de currículo para o painel do designer.
Feito isso, o botão Indicar na tela no corpo da atividade do escopo pode ser usado para selecionar a área da tela que você deseja trabalhar.
Depois que uma atividade de Escopo de tela CV estiver configurada corretamente, você poderá começar a usar todas as outras atividades do pacote para criar sua automação.
Indicar na tela
As atividades que realizam ações em elementos de interface gráfica podem ser configuradas no tempo de design usando o botão Indicar na tela encontrado no cartão de atividade. As atividades que têm essa funcionalidade são:
- CV Check
- CV Click
- CV Dropdown Select
- CV Element Exists
- CV Extract Table
- CV Get Text
- CV Highlight
- CV Hover
- CV Screen Scope
- CV Type Into
Clicar no botão Indicar na tela (tecla de atalho: I) abre o assistente auxiliar.
Indicar
O campo Indicar especifica o que você está indicando no momento. Quando o helper é aberto pela primeira vez, o Alvo precisa ser indicado. Para cada alvo possível, o assistente seleciona automaticamente uma âncora, se houver uma disponível.
Mostrar elementos
O botão Mostrar Elementos (tecla de atalho: s) no assistente destaca todos os elementos da interface do usuário que foram identificados pela análise da Visão Computacional, tornando mais fácil para você escolher com o que interagir.
Atualização da tela
O botão Screen Refresh (atalho: F5) pode ser usado em tempo de design, caso algo mude no aplicativo de destino, permitindo que você envie uma nova imagem para o servidor Computer Vision para ser analisada novamente.
Atualização de tela atrasada
O botão Atualização de tela atrasada (tecla de atalho: F2) executa uma atualização do aplicativo de destino após aguardar 3 segundos. A direção de rolagem automática em tempo de execução também é capturada (propriedade ScrollDirection).
Relativo a
As atividades que possuem o assistente Indicar também incluem uma funcionalidade Relativo a , na qual o destino é um elemento estável e você arrasta uma distância relativa a ele. O destino principal, o estável, age como um proxy para o segundo destino, o relativo.
Isso é útil quando você deseja selecionar uma área que não corresponde aos elementos da interface do usuário que o mecanismo do Computer Vision identificou ou quando você deseja selecionar uma área geral na interface do usuário sem especificar um determinado elemento de interface gráfica.
O destino relativo pode ser um único ponto ou uma seleção de área no aplicativo que você está automatizando.
A seleção de ponto único é normalmente colocada em um local onde a detecção do Computer Vision não é precisa e pode não encontrar certos elementos. As atividades que usam a seleção de ponto único são CV Click, CV Hover e CV Type Into.
A seleção de área é usada por CV Get Text e é ativada automaticamente para esta atividade.
Como regra geral, qualquer âncora que você adicionar deve ser encontrada no runtime, o que significa que, se pelo menos uma âncora não for encontrada, toda a seleção não será encontrada. Portanto, as âncoras precisam ser elementos estáveis que você tem certeza de que o Computer Vision pode detectar todas as vezes e que não mudam drasticamente na UI durante o runtime.
Digamos que você queira clicar no botão "X" na imagem abaixo. Você pode observar que o destino está no botão "X", mas o clique acontece no círculo verde; isso ocorre porque você escolheu clicar em relação ao botão "X". Portanto, a menos que o Computer Vision não possa detectar um determinado elemento de interface gráfica, não há necessidade de usar o recurso Relativo a .
Para selecionar o botão "X" e não uma área relativa a ele, certifique-se de que o botão "X" tenha um contorno verde nele.
Se o botão "X" não estiver estável, você pode clicar em relativo a um elemento estável.
Indicação de tabela
As atividades de Visão Computacional também oferecem suporte para tabelas de indicação. O direcionamento em tabelas pode ser feito selecionando uma célula com a qual você deseja interagir, o que solicita que a rede neural identifique automaticamente a coluna e a linha que definem a posição dessa célula, exibindo-as em uma grade.
Por padrão, os nomes da coluna e da linha são usados no descritor para identificar a localização da célula. Clicar nos índices de coluna e linha os adiciona automaticamente ao seu descritor. Isso pode ser útil em situações em que os nomes de coluna e linha são alterados, mas você deseja extrair a mesma posição de uma célula.
Após indicar o Targetcom sucesso, o wizard fecha e a atividade é configurada com o target selecionado.