Atividades do pacote Computer Vision

Esta seção inclui atividades relacionadas ao Computer Vision encontradas no pacote UiPath.UIAutomation.Activities.

• CV Check
• CV Click
• CV Dropdown Select
• CV Element Exists
• CV Extract Table
• CV Get Text
• CV Highlight
• CV Hover
• CV Refresh
• CV Screen Scope
• CV Type Into

Observação:

The Computer Vision activities are not compatible with Windows 7.

As atividades do Computer Vision contêm atividades de Automação de Interface Gráfica fundamentais refatoradas, como Click, Type Into ou Get Text. A principal diferença entre as atividades do Computer Vision e seus homólogos clássicos é seu uso da rede neural Computer Vision desenvolvida internamente pelo nosso departamento de Machine Learning. A rede neural é capaz de identificar elementos da interface gráfica, como botões, campos de entrada de texto ou caixas de seleção, sem o uso de seletores.

Criadas principalmente para automação em ambientes de desktop virtuais, como máquinas Citrix, essas atividades ignoram o problema de seletores inexistentes ou não confiáveis, pois enviam imagens da janela que você está automatizando para a rede neural, onde é analisado e todos os elementos da IU são identificados e rotulados de acordo com o que são. As âncoras inteligentes são usadas para identificar a localização exata do elemento de interface gráfica com o qual você está interagindo, garantindo que a ação que você pretende realizar seja bem-sucedida.

Uso das atividades do Computer Vision

Todas as atividades do Computer Vision funcionam apenas quando dentro de uma atividade CV Screen Scope , que estabelece a conexão real com o servidor de rede neural, permitindo que você analise a interface do usuário dos aplicativos que você deseja automatizar.

Qualquer fluxo de trabalho que use as atividades do Computer Vision deve começar com o arrastar de uma atividade CV Screen Scope para o painel do designer.

Depois disso, o botão Indicar na tela no corpo da atividade do escopo pode ser usado para selecionar a área da tela em que você deseja trabalhar.

Observação:

Double-clicking the informative screenshot displays the image that has been captured and highlights in purple all of the UI elements that have been identified by the neural network and OCR engine.

Observação:

Area selection can also be used to indicate only a portion of the UI of the application you want to automate. This is especially useful in situations where there are multiple text fields that have the same label and cannot be properly identified.

Once a CV Screen Scope activity is properly configured, you can start using all of the other activities in the pack to build your automation.

Indicar na tela

As atividades que realizam ações em elementos de interface gráfica podem ser configuradas no tempo de design usando o botão Indicar na tela encontrado no cartão de atividade. As atividades que têm essa funcionalidade são:

• CV Check
• CV Click
• CV Dropdown Select
• CV Element Exists
• CV Extract Table
• CV Get Text
• CV Highlight
• CV Hover
• CV Screen Scope
• CV Type Into

Clicar no botão Indicar na tela (tecla de atalho: I) abre o assistente auxiliar.

Indicar

The Indicate field specifies what you are indicating at the moment. When the helper is opened for the first time, the Target needs to be indicated. For each possible target, the wizard automatically selects an anchor, if one is available.

Mostrar elementos

The Show Elements (hotkey: s) button in the wizard highlights all UI elements that have been identified by the Computer Vision analysis, making it easier for you to choose what to interact with.

Atualização da tela

O botão Atualizar tela (tecla de atalho: F5) pode ser usado no momento do design, caso algo mude no aplicativo de destino, permitindo que você envie uma nova imagem ao servidor do Computer Vision para ser analisada novamente.

Atualização de tela atrasada

O botão Atualização de tela atrasada (tecla de atalho: F2) realiza uma atualização do aplicativo de destino depois de esperar 3 segundos. A direção de rolagem automática de tempo de execução também é capturada (propriedade ScrollDirection).

Relativo a

As atividades que possuem o assistente Indicar também incluem uma funcionalidade Relativo a , no qual o destino é um elemento estável e você arrasta uma distância em relação a ele. O destino principal, o estável, atua como um destino de proxy para o segundo destino, o relativo.

Isso é útil quando você deseja selecionar uma área que não corresponde aos elementos da interface do usuário que o mecanismo do Computer Vision identificou ou quando você deseja selecionar uma área geral na interface do usuário sem especificar um determinado elemento de interface gráfica.

O destino relativo pode ser um único ponto ou uma seleção de área no aplicativo que você está automatizando.

A seleção de ponto único normalmente é colocada em um local onde a detecção do Computer Vision não é precisa e pode não encontrar determinados elementos. As atividades que usam a seleção de ponto único são CV Click, CV Hover e CV Type Into.

A seleção de área é usada pelo CV Get Text e é ativada automaticamente para esta atividade.

Observação:

Tanto um ponto quanto uma área usados como destino para Relativo a são escaláveis com a escala de resolução que você escolheu para sua tela. Se a escala do próprio aplicativo for variável, em vez disso, essa funcionalidade perde sua confiabilidade.

Como regra geral, qualquer âncora que você adicionar deve ser encontrada no runtime, o que significa que, se pelo menos uma âncora não for encontrada, toda a seleção não será encontrada. Portanto, as âncoras precisam ser elementos estáveis que você tem certeza de que o Computer Vision pode detectar todas as vezes e que não mudam drasticamente na UI durante o runtime.

Digamos que você deseja clicar no botão "X" na imagem abaixo. Você pode observar que o destino está no botão "X", mas o clique acontece no círculo verde; isso ocorre porque você escolheu clicar em relação ao botão "X". Portanto, a menos que o Computer Vision não possa detectar um determinado elemento de interface gráfica, não há necessidade de usar a funcionalidade Relativo a .

Para selecionar o botão "X" e não uma área relativa a ele, certifique-se de que o botão "X" tenha um contorno verde nele.

Se o botão "X" não estiver estável, você pode clicar em relativo a um elemento estável.

Indicação de tabela

As atividades de Visão Computacional também oferecem suporte para tabelas de indicação. O direcionamento em tabelas pode ser feito selecionando uma célula com a qual você deseja interagir, o que solicita que a rede neural identifique automaticamente a coluna e a linha que definem a posição dessa célula, exibindo-as em uma grade.

Por padrão, os nomes da coluna e da linha são usados no descritor para identificar a localização da célula. Clicar nos índices de coluna e linha os adiciona automaticamente ao seu descritor. Isso pode ser útil em situações em que os nomes de coluna e linha são alterados, mas você deseja extrair a mesma posição de uma célula.

After successfully indicating the Target, the wizard closes and the activity is configured with the target you selected.

Observação:

Please remember that whenever you choose to submit errors in the behavior of the neural network, you are helping it learn and indirectly helping us give you a better product. Submit as many issues as you can, as this gives us the opportunity to acknowledge and fix them.