- Visão geral
- Automação de Interface Gráfica
- Aplicativos e tecnologias automatizados com a Automação de Interface Gráfica
- Compatibilidade do projeto
- UI-ANA-016 - Extrair URL de navegador aberto
- UI-ANA-017 - ContinuarComErro verdadeiro
- UI-ANA-018 - Listar atividades de OCR/Imagem
- UI-DBP-006 - Uso do contêiner
- UI-DBP-013 - Uso Incorreto da Automação do Excel
- UI-DBP-030 - Uso de variáveis proibidas em seletores
- UI-PRR-001 - Simular clique
- UI-PRR-002 - Simular Digitação
- UI-PRR-003 - Uso incorreto do aplicativo aberto
- UI-PRR-004 - Atrasos Embutidos em Código
- UI-REL-001 - Idx grande em Seletores
- UI-SEC-004 - Dados de e-mail do seletor
- UI-SEC-010 — restrições de app/URL
- UI-USG-011 - Atributos não permitidos
- UX-SEC-010 — restrições de app/URL
- UX-DBP-029 - Uso de senha não segura
- UI-PST-001 - Nível de log de auditoria nas configurações do projeto
- Ferramenta de Migração de Navegador do UiPath
- Computer Vision Recorder
- Ativar
- Anchor Base
- Anexar Navegador
- Anexar Janela
- Block User Input
- Call Transaction
- Texto Explicativo
- Marcar
- Click
- Clicar na Imagem
- Click Image Trigger
- Click OCR Text
- Click Picture on Screen
- Clicar no Texto
- Click Toolbar Button
- Click Trigger
- Close Application
- Fechar Guia
- Close Window
- Context Aware Anchor
- Copy Selected Text
- Element Attribute Change Trigger
- Element Exists
- Element Scope
- Element State Change Trigger
- Expand ALV Hierarchical Table
- Expand ALV Tree
- Expand Tree
- Export UI Tree
- Extrair Dados Estruturados
- Find Children
- Localizar Elemento
- Localizar Imagem
- Find Image Matches
- Find OCR Text Position
- Localizar Elemento Relativo
- Find Text Position
- Get Active Window
- Get Ancestor
- Get Attribute
- Get Event Info
- Get From Clipboard
- Obter Texto Completo
- Get OCR Text
- Get Password
- Get Position
- Get Source Element
- Get Text
- Obter Texto Visível
- Voltar
- Avançar
- Ir para a Página Inicial
- Google Cloud Vision OCR
- Hide Window
- Highlight
- Hotkey Trigger
- Hover
- Focalizar Imagem
- Hover OCR Text
- Focalizar Texto
- Imagem Existe
- Indicate On Screen
- Inject .NET Code
- Injetar script de JS
- Invoke ActiveX Method
- Key Press Trigger
- Carregar Imagem
- Maximize Window
- Microsoft Azure Computer Vision OCR
- Microsoft OCR
- Microsoft Project Oxford Online OCR
- Minimize Window
- Monitorar eventos
- Mouse Trigger
- Move Window
- Navegar Para
- OCR Text Exists
- On Element Appear
- On Element Vanish
- Aparecer Na Imagem
- Desaparecer Na Imagem
- Abrir Aplicativo
- Abrir Navegador
- Read Statusbar
- Atualizar Navegador
- Replay User Event
- Restore Window
- SAP Login
- SAP Logon
- SAP Session Attributes Change Trigger
- Save Image
- Selecionar datas no calendário
- Select Item
- Select Menu Item
- Select Multiple Items
- Enviar Tecla de Acesso
- Set Clipping Region
- Set Focus
- Set Text
- Set To Clipboard
- Set Web Attribute
- Show Window
- Iniciar Processo
- System Trigger
- Table Cell Scope
- Take Screenshot
- Tesseract OCR
- Texto Existe
- Dica de ferramenta
- Type Into
- Digitar Texto Seguro
- Use Foreground
- Wait Attribute
- Esperar Elemento Desaparecer
- Aguardar Imagem Desaparecer
- Application event trigger
- Check/Uncheck
- Check App State
- Check Element
- Click
- Click Event Trigger
- Fechar pop-up
- Drag and Drop
- Extract Table Data
- For Each UI Element
- Get Attribute
- Get Browser Data
- Get Text
- Get URL
- Go To URL
- Highlight
- Hover
- Inject Js Script
- Keyboard Shortcuts
- Keypress Event Trigger
- Mouse Scroll
- Navigate Browser
- Select Item
- Set Browser Data
- Set Runtime Browser
- Set Text
- Take Screenshot
- Type Into
- Use Application/Browser
- Realize pesquisa no navegador e recupere resultados usando APIs de Automação de interface gráfica
- Navegação na Web
- Localizar imagens
- Clicar em imagens
- Disparar e monitorar eventos
- Criar e substituir arquivos
- Páginas HTML: extrair e manipular informações
- Manipulação de janelas
- Seleção automatizada de listas
- Localizar e manipular elementos de janela
- Gerenciar automação de texto
- Carregar e processar imagens
- Gerenciar ações ativadas pelo mouse
- Automatizar o runtime de aplicativos
- Execução automatizada de um aplicativo local
- Navegação em navegador
- Automação da Web
- Exemplo de escopo de disparador
- Computer Vision Local Server
- Automação Móvel
- Notas de versão
- Compatibilidade do projeto
- Get Log Types
- Get Logs
- Get Page Source
- Get Device Orientation
- Get Session Identifier
- Instalar Aplicativo
- Gerenciar Aplicativo Atual
- Manage Other App
- Open DeepLink
- Abrir URL
- Mobile Device Connection
- Positional Swipe
- Press Hardware Button
- Set Device Orientation
- Take Screenshot
- Obter parte da captura de tela
- Element Exists
- Execute Command
- Get Attribute
- Get Selected Item
- Get Text
- Set Selected Item
- Set Text
- Deslizar
- Tap
- Type Text
- Padrão de Desenho
- Terminal
- Notas de versão
- Sobre o pacote de atividades Terminal
- Compatibilidade do projeto
- Melhores práticas
- Find Text
- Get Color At Position
- Get Cursor Position
- Get Field
- Obter Campo na Posição
- Obter Área da Tela
- Get Text
- Obter Texto na Posição
- Mover Cursor
- Mover cursor para o texto
- Enviar Tecla de Controle
- Send Keys
- Send Keys Secure
- Set Field
- Definir Campo na Posição
- Terminal Session
- Aguardar Texto do Campo
- Aguardar Texto da Tela
- Aguardar Texto na Posição
Atividades do pacote Computer Vision
Esta seção inclui atividades relacionadas ao Computer Vision encontradas no pacote UiPath.UIAutomation.Activities.
- CV Check
- CV Click
- CV Dropdown Select
- CV Element Exists
- CV Extract Table
- CV Get Text
- CV Highlight
- CV Hover
- CV Refresh
- CV Screen Scope
- CV Type Into
As atividades do Computer Vision contêm atividades de Automação de Interface Gráfica fundamentais refatoradas, como Click, Type Intoou Get Text. A principal diferença entre as atividades do Computer Vision e seus homólogos clássicos é seu uso da rede neural Computer Vision desenvolvida internamente pelo nosso departamento de Machine Learning. A rede neural é capaz de identificar elementos da interface gráfica, como botões, campos de entrada de texto ou caixas de seleção, sem o uso de seletores.
Criadas principalmente para automação em ambientes de desktop virtuais, como máquinas Citrix, essas atividades ignoram o problema de seletores inexistentes ou não confiáveis, pois enviam imagens da janela que você está automatizando para a rede neural, onde é analisado e todos os elementos da IU são identificados e rotulados de acordo com o que são. As âncoras inteligentes são usadas para identificar a localização exata do elemento de interface gráfica com o qual você está interagindo, garantindo que a ação que você pretende realizar seja bem-sucedida.
Todas as atividades de Visão Computacional funcionam apenas quando dentro de uma atividade CV Screen Scope , que estabelece a conexão real com o servidor de rede neural, permitindo que você analise a interface do usuário dos aplicativos que deseja automatizar.
Qualquer fluxo de trabalho usando as atividades de visão computacional deve começar arrastando uma atividade de escopo de tela de currículo para o painel do designer.
Feito isso, o botão Indicar na tela no corpo da atividade do escopo pode ser usado para selecionar a área da tela que você deseja trabalhar.
Depois que uma atividade de Escopo de tela CV estiver configurada corretamente, você poderá começar a usar todas as outras atividades do pacote para criar sua automação.
As atividades que realizam ações em elementos de interface gráfica podem ser configuradas no tempo de design usando o botão Indicar na tela encontrado no cartão de atividade. As atividades que têm essa funcionalidade são:
- CV Check
- CV Click
- CV Dropdown Select
- CV Element Exists
- CV Extract Table
- CV Get Text
- CV Highlight
- CV Hover
- CV Screen Scope
- CV Type Into
Clicar no botão Indicar na tela (tecla de atalho: I) abre o assistente auxiliar.
O campo Indicar especifica o que você está indicando no momento. Quando o helper é aberto pela primeira vez, o Alvo precisa ser indicado. Para cada alvo possível, o assistente seleciona automaticamente uma âncora, se houver uma disponível.
O botão Mostrar Elementos (tecla de atalho: s) no assistente destaca todos os elementos da interface do usuário que foram identificados pela análise da Visão Computacional, tornando mais fácil para você escolher com o que interagir.
O botão Screen Refresh (atalho: F5) pode ser usado em tempo de design, caso algo mude no aplicativo de destino, permitindo que você envie uma nova imagem para o servidor Computer Vision para ser analisada novamente.
O botão Atualização de tela atrasada (tecla de atalho: F2) executa uma atualização do aplicativo de destino após aguardar 3 segundos. A direção de rolagem automática em tempo de execução também é capturada (propriedade ScrollDirection).
As atividades que possuem o assistente Indicar também incluem uma funcionalidade Relativo a , na qual o destino é um elemento estável e você arrasta uma distância relativa a ele. O destino principal, o estável, age como um proxy para o segundo destino, o relativo.
Isso é útil quando você deseja selecionar uma área que não corresponde aos elementos da interface do usuário que o mecanismo do Computer Vision identificou ou quando você deseja selecionar uma área geral na interface do usuário sem especificar um determinado elemento de interface gráfica.
O destino relativo pode ser um único ponto ou uma seleção de área no aplicativo que você está automatizando.
A seleção de ponto único é normalmente colocada em um local onde a detecção do Computer Vision não é precisa e pode não encontrar certos elementos. As atividades que usam a seleção de ponto único são CV Click, CV Hover e CV Type Into.
A seleção de área é usada por CV Get Text e é ativada automaticamente para esta atividade.
Como regra geral, qualquer âncora que você adicionar deve ser encontrada no runtime, o que significa que, se pelo menos uma âncora não for encontrada, toda a seleção não será encontrada. Portanto, as âncoras precisam ser elementos estáveis que você tem certeza de que o Computer Vision pode detectar todas as vezes e que não mudam drasticamente na UI durante o runtime.
Digamos que você queira clicar no botão "X" na imagem abaixo. Você pode observar que o destino está no botão "X", mas o clique acontece no círculo verde; isso ocorre porque você escolheu clicar em relação ao botão "X". Portanto, a menos que o Computer Vision não possa detectar um determinado elemento de interface gráfica, não há necessidade de usar o recurso Relativo a .
Para selecionar o botão "X" e não uma área relativa a ele, certifique-se de que o botão "X" tenha um contorno verde nele.
Se o botão "X" não estiver estável, você pode clicar em relativo a um elemento estável.
As atividades de Visão Computacional também oferecem suporte para tabelas de indicação. O direcionamento em tabelas pode ser feito selecionando uma célula com a qual você deseja interagir, o que solicita que a rede neural identifique automaticamente a coluna e a linha que definem a posição dessa célula, exibindo-as em uma grade.
Por padrão, os nomes da coluna e da linha são usados no descritor para identificar a localização da célula. Clicar nos índices de coluna e linha os adiciona automaticamente ao seu descritor. Isso pode ser útil em situações em que os nomes de coluna e linha são alterados, mas você deseja extrair a mesma posição de uma célula.
Após indicar o Targetcom sucesso, o wizard fecha e a atividade é configurada com o target selecionado.