Automação de Interface Gráfica Moderna

O UI Automation Modern usa uma combinação de tecnologias para identificar e localizar elementos de interface gráfica: seletor completo, seletor difuso e imagem, todos envolvidos em um algoritmo baseado em âncoras.

Importante: a partir da versão 2020.10, o pacote UI Automation Next foi desativado e o pacote Automação de Interface Gráfica existente foi expandido para incluir todos os recursos modernos disponíveis anteriormente no UI AutomationNext. Também é possível instalar o pacote de atividades unificado Automação de Interface Gráfica, mesmo nas versões 2020.4.1 e anteriores do Studio. Isso exibe todas as atividades clássicas e modernas no painel de atividades. Leia mais sobre a Experiência de Design Moderna.

O UI Automation Modern contém atividades que ajudam você a automatizar as interações de interface gráfica mais comuns. O primeiro passo para automatizar as interações de interface gráfica é definir o aplicativo de desktop ou a página da web com a qual a atividade Use Application/Browser vai interagir. Depois, você adiciona as atividades a serem automatizadas nesse aplicativo ou nessa página da web dentro da atividade Use Application/Browser.

Para acelerar o processo, você pode usar o Gravador de aplicativo/web, que gera automaticamente atividades capturando suas ações na tela.

Observação: a atividade Extract Table Data e App/Web Recorder não são compatíveis com as versões 2019.10.4 e anteriores do Studio.

Suporte ao navegador da Web

O pacote UI Automation Next oferece suporte aos seguintes navegadores da Web:

Internet Explorer 8.0 ou posterior
Versão 64 ou posterior do Google Chrome
Versão 52.0 ou posterior do Mozilla Firefox
Microsoft Edge Chromium versão 79 ou superior no Windows 10 versão 1803 ou superior. Edge Legacy não é suportado.

Métodos de segmentação

O UI Automation Next usa uma combinação dos seguintes métodos para identificar os elementos da interface do usuário:

Seletor - Um fragmento XML que armazena os atributos de um elemento e seus elementos pais, incluindo o aplicativo de destino.
Seletor Difuso - Seletor que leva em consideração possíveis mudanças nos atributos de um elemento, identificando-os com base em um padrão, e não em uma correspondência exata. Este método funciona melhor quando usado com âncoras.

Você pode encontrar mais informações sobre seletores no Guia do Studio.
Imagem - Uma imagem na janela do aplicativo que identifica o elemento, por exemplo, um ícone ou um botão.

Sobre Alvos e Âncoras

Um destino é um elemento de interface gráfica com o qual você deseja interagir, por exemplo, um botão a ser clicado, uma caixa de texto a ser digitada ou uma parte de uma página da Web de onde se deseja copiar o texto.

Uma âncora é um outro elemento próximo que ajuda a identificar exclusivamente o destino. Quando você indica um alvo, o UiPath tenta identificar e selecionar automaticamente uma âncora. Você também pode adicionar manualmente até três âncoras.

Quando usar uma Âncora

Âncoras são úteis quando um elemento de destino não for exclusivo. Por exemplo, um formulário em um aplicativo de área de trabalho normalmente contém várias caixas de texto semelhantes para inserir vários dados. A maneira de identificar quais dados precisam ir em cada uma delas é olhando os rótulos ao lado delas. De maneira similar, quando o rótulo de uma caixa de texto é adicionado como sua âncora, o Robô usa a âncora para identificar a caixa de texto na qual deve digitar.

Em algumas situações, várias âncoras são necessárias para distinguir um destino de outros elementos semelhantes chamados duplicatas. Por exemplo, se um formulário tiver as seções de endereço de faturamento e endereço de envio, as caixas de texto nelas aparecem duas vezes com o mesmo rótulo, então você precisa adicionar ambos os rótulos (por exemplo, "CEP") e o título da seção (por exemplo, "Endereço de faturamento") como âncoras para identificar o correto.

Como Indicar um Destino

Na maioria dos casos, o que você precisa para definir um destino é apontar para ele na sua tela e clicar. Os métodos necessários para identificar o destino e qualquer âncora adequada serão detectados e suas propriedades serão automaticamente geradas.

Para indicar um destino:

Clique em Indicar destino na tela dentro de uma atividade UI Automation Next.

O modo de seleção de destino é aberto. Quando você começa a mover o cursor, todos os elementos de interface gráfica reconhecidos serão destacados. A janela Opções de Seleção aparece na tela com informações sobre o status de identificação de destino e opções adicionais.
Posicione o cursor no elemento desejado, certifique-se de que está destacado e clique nele.
- Se o elemento de destino for identificado, ficará destacado em verde.
  - Se uma âncora também tiver sido selecionada automaticamente, ficará destacada em azul.
  - Se uma âncora não tiver sido selecionada automaticamente, você pode clicar em um elemento próximo que ajude a identificar o destino (por exemplo, um rótulo ou um título) para adicioná-lo como âncora.
  - Para adicionar uma âncora adicional, passe o cursor sobre o elemento de destino e selecione Adicionar âncora no menu de suspensão e, em seguida, clique no elemento para adicionar como âncora.
- Se o destino não tiver sido identificado porque há muitos outros elementos semelhantes na tela, o elemento será destacado em vermelho e os elementos semelhantes serão destacados como duplicatas em amarelo. Clique em outro elemento na tela para adicioná-lo como uma âncora.
  - Se a seleção for válida, o destino e a âncora ficarão destacados em verde e azul respectivamente.
  - Se o destino e a âncora estiverem destacados em vermelho, a seleção ainda estará inválida. Passe o cursor sobre o elemento que você indicou como destino e clique em Adicionar Âncora no menu de suspensão para adicionar uma segunda âncora. Repita isso para adicionar uma terceira âncora se necessário.
- Para concluir a identificação de destino, clique em Confirmar na janela Opções de Seleção. Também é possível confirmar clicando em no menu suspenso no destino ou pressionando Enter no seu teclado.
  
  O destino foi configurado e a atividade exibe uma captura de tela do destino e qualquer âncora que tenha sido adicionada.

As opções adicionais estão disponíveis na janela Opções de Seleção para ajudar a indicar elementos:

Se um elemento não estiver visível na sua tela ou se o aplicativo não estiver no estado correto, você pode pressionar F2 no seu teclado para pausar a seleção de elementos enquanto você coloca o aplicativo no estado correto.

Isso é útil para elementos que exigem uma ação adicional para aparecer na tela ou desaparecer facilmente dela. Por exemplo, se você quiser indicar elementos específicos em menus suspensos ou menus de suspensão, você pode pausar a seleção ao clicar no menu suspenso ou ao mover o cursor no menu de suspensão para ativá-los.
Mudar para o modo de seleção de imagem. Pressione F3 no teclado para alterar para a identificação baseada em imagem e use o mouse para selecionar uma região visível na janela do aplicativo para usar como destino ou âncora.
Alterar a Estrutura de interface gráfica. Por padrão, uma estrutura proprietária é usada para acessar a janela do aplicativo de destino. Se um destino não for detectado, tente alterar a estrutura pressionando F4 no seu teclado. Selecione AA (Acessibilidade ativa) para aplicativos mais antigos ou UIA (Automação de interface gráfica do Microsoft) para aplicativos mais recentes. Após selecionar um destino, a opção de alterar a Estrutura de interface gráfica não fica mais disponível.

Como editar um destino

Se o destino não estiver identificado corretamente durante a execução do projeto, você pode editar o destino e suas âncoras após tê-lo indicado selecionando > Editar destino no corpo da atividade. Isso abre o modo de seleção, com o destino e quaisquer âncoras identificadas destacadas. Um menu é exibido quando você passa o mouse sobre um destino ou âncora.

Para remover um destino ou uma âncora, passe o cursor por cima e clique em Excluir no menu de suspensão. Se você remover um destino, o primeiro elemento em que você clicar será adicionado como o novo destino.
Para adicionar uma âncora a um destino, clique no elemento para adicionar como uma âncora. Dependendo das configurações do seu projeto, você pode precisar clicar em Adicionar Âncora no menu de suspensão do destino primeiro. Você pode adicionar até três âncoras para cada destino.
Para editar um destino ou uma âncora, passe o cursor sobre ele e clique em Configurações no menu de suspensão. As propriedades dos métodos usados para detectar o elemento podem ser editadas na seção Configurações Avançadas da janela Opções de Seleção:
- Seletor / Seletor Difuso
  - Edite o seletor usando a caixa de texto correspondente. Para copiar o seletor para colar em outro elemento ou para editar no UI Explorer, clique em Copiar ao lado dele.
    
    Você também pode usar variáveis em valores de atributo. As variáveis devem ser envolvidas por chaves duplas, por exemplo, <wnd name='da{{var1}}'/> adiciona o valor de var1 ao seletor. O valor padrão da variável é usado no momento do design.
  - Para seletores difusos, você pode alterar o nível de Precisão do seletor arrastando o controle deslizante correspondente de 0,4 a 1. Essa medida expressa o nível de similaridade entre o atributo que você está procurando e aquele a ser encontrado. Para encontrar resultados com uma similaridade superior, aumente o valor. O valor padrão é 0,7.
- Imagem
  - Altere o nível de Precisão da Imagem arrastando o controle correspondente de 0,4 para 1. Essa medida expressa o nível de similaridade entre a imagem que você está procurando e aquela a ser encontrada. Em situações quando a imagem a ser encontrada pode ser ligeiramente diferente do que você está pesquisando, você pode baixar a precisão. O valor padrão é 0,8.
- Desabilite/habilite um método desmarcando/selecionando a caixa de seleção ao lado do nome do método.
- Confira o nível de exclusividade de um método clicando em Mostrar todas as correspondências ao lado dele. Isso verifica todos os elementos na janela e destaca todos os que têm semelhanças com o elemento atualmente selecionado em amarelo.
- Clique em Aplicar para salvar as alterações e, então, clique em Validar se você quiser validar a seleção. Para salvar a seleção, clique em Confirmar.

Como Validar a sua Seleção

A validação permite que você verifique a eficiência da seleção atual na identificação do destino, verificando-o pelo uso de todos os métodos e âncoras selecionados. O resultado da validação é exibido na parte superior da janela Opções de seleção. Se ajustes forem necessários, uma mensagem é exibida com informações sobre como melhorar a seleção.

O desempenho de cada método é exibido na seção Configurações Avançadas da janela Opções de Seleção usando um dos seguintes ícones: