Configuração de descritor avançada

Para mais informações sobre como usar as funcionalidades mais avançadas da Tela de Seleção, assista o vídeo abaixo.

Duplicatas

Indicar um destino pode produzir duplicatas, que são outros elementos de interface gráfica exibidos como extremamente semelhantes ao elemento de interface gráfica de destino e podem causar falha na automação em Runtime. Quando duplicatas são encontradas, elas são destacadas em amarelo e têm um rótulo acima delas contendo uma letra que corresponde ao método de segmentação que encontrou cada duplicata:

• S - Seletor restrito
• F - Seletor difuso
• CV - Computer Vision
• I - Imagem

Uma das melhores maneiras de evitar duplicatas é indicar uma âncora.

Âncoras

Para criar um descritor confiável, é recomendável indicar uma âncora após o destino ser indicado.

Uma âncora é um outro elemento próximo que ajuda a identificar exclusivamente o destino. Quando você indica um alvo, o UiPath tenta identificar e selecionar automaticamente uma âncora. Você também pode adicionar manualmente até três âncoras.

Se apenas o seletor Restrito estiver habilitado como método de segmentação, as âncoras não serão usadas.

Quando usar uma Âncora

Âncoras são úteis quando um elemento de destino não for exclusivo. Por exemplo, um formulário em um aplicativo de área de trabalho normalmente contém várias caixas de texto semelhantes para inserir vários dados. A maneira de identificar quais dados precisam ir em cada uma delas é olhando os rótulos ao lado delas. De maneira similar, quando o rótulo de uma caixa de texto é adicionado como sua âncora, o Robô usa a âncora para identificar a caixa de texto na qual deve digitar.

Às vezes, várias âncoras são necessárias para distinguir um destino de outros elementos semelhantes chamados duplicatas. Por exemplo, se um formulário tiver as seções de endereço de faturamento e endereço de envio, as caixas de texto nelas aparecem duas vezes com o mesmo rótulo, então você precisa adicionar ambos os rótulos (por exemplo, "CEP") e o título da seção (por exemplo, "Endereço de faturamento") como âncoras para identificar o correto.

As âncoras podem ser encontradas em vários cenários, conforme descrito abaixo:

Âncora localizada automaticamente

Após indicar um destino, é feita uma tentativa de identificar automaticamente uma âncora para ele.

Importante: se uma âncora não for encontrada com 100% de certeza ou se forem encontradas duplicatas, ela não será considerada uma âncora automática.

Se uma âncora automática for encontrada com sucesso, ela será destacada em azul e o Auxiliar de opções de seleção confirmará que o destino e sua âncora estão OK.

Método de identificação de âncora

Nesta seção, você pode encontrar mais detalhes técnicos sobre o método em que essa pesquisa é realizada.

Depois que um destino é indicado, o tipo do elemento de interface gráfica indicado é identificado. Os seguintes elementos e direções são pesquisados:

• Botão - dentro do elemento.
• Caixa de seleção - à direita do elemento.
• Menu suspenso - à esquerda e acima do elemento.
• Caixa de entrada - à esquerda e acima do elemento. No caso da automação do navegador, o rótulo também é pesquisado dentro da caixa de entrada, procurando o atributo AreaLabeledBy . Se este rótulo não for identificado, um elemento com tag=label e for='id of the input box' será procurado.
• Botão de opção - à direita do elemento.
• Imagem - à direita e abaixo do elemento.

Dependendo do tipo de elemento identificado, uma âncora correspondente é pesquisada automaticamente para o elemento.

Uma âncora identificada automaticamente está na forma de um elemento de texto que está sempre presente próximo ao elemento de destino e, portanto, pode ser usado para identificar o elemento em Runtime com mais precisão.

Se nenhuma das instruções acima fornecer resultados, será usado um caso genérico, que procura na hierarquia do elemento uma âncora adequada.

Adicionando manualmente uma âncora

Caso uma âncora não seja encontrada e adicionada automaticamente ao destino especificado, você será notificado pelo auxiliar de Opções de seleção, conforme mostrado na captura de tela a seguir:

Nessa situação, você pode selecionar manualmente uma âncora para seu elemento de destino. Ao passar o mouse sobre outro elemento, ele fica destacado em azul e conectado a uma linha ao destino selecionado. Para selecionar a âncora desejada, basta clicar no texto que você deseja usar como âncora.

Focalizar menu

Você também pode editar um elemento específico (seja alvo ou âncora) acessando o menu que é exibido ao passar o mouse sobre o elemento alvo. Este menu tem várias opções:

O/A o botão fecha o processo de indicação e salva as alterações feitas.

O/A permite que você segmente os elementos, independentemente do seu conteúdo de texto específico. Isso pode ser útil ao tentar selecionar o primeiro elemento em uma lista de pesquisa quando você não sabe exatamente com o que a lista será preenchida ou ao interagir com um elemento dinâmico que altera seu rótulo por vários motivos. Usar essa funcionalidade ao indicar um destino usa apenas o método Seletor Difuso para identificação, e remove o seletor Difuso para garantir que o elemento ainda seja direcionado, independentemente de alterações no rótulo.

Ao clicar na , você pode selecionar um elemento de interface gráfica adjacente que age como uma âncora adicional. Você pode indicar até três âncoras para qualquer destino.

O/A O botão expande a seção de destino nas Opções de seleção, permitindo que você configure os métodos de direcionamento usados para o descritor atual.

O/A exclui o destino que você indicou e permite escolher outro.

Configuração do descritor

Opções

A seção Opções pode ser expandida para revelar as seguintes opções:

• Aplicar alterações automaticamente — quando selecionada, aplica as alterações automaticamente nos elementos de âncora e destino.
• Sites responsivos - Quando selecionado, permite que a âncora se mova automaticamente da esquerda para a parte superior do destino, ou da parte superior para a esquerda do destino, permitindo assim que você automatize sites que são responsivos.
• Visibilidade do elemento - Verifica se o elemento de interface gráfica está visível ou não. Há três opções disponíveis no menu suspenso:
  • Nenhum - Não verifica a visibilidade.
  • Interativo (para seletor Difuso) - Opção padrão. Verifica se o elemento está potencialmente visível, ignorando a rolagem da página, as obstruções de outros aplicativos ou o fato de o aplicativo estar minimizado. Essa verificação é útil ao tentar garantir que você não esteja segmentando elementos invisíveis que existem no DOM, mas que estão ocultos.
  • Totalmente visível - Garante que o elemento de interface gráfica esteja visível na tela.

Seletor de janela

A seção Seletor de janela pode ser expandida para visualizar e editar o seletor do aplicativo de destino indicado. Você também pode usar o botão Abrir no UI Explorer para editar o seletor de janela no UI Explorer.

Destino

Um destino é um elemento de interface gráfica com o qual você deseja interagir, por exemplo, um botão a ser clicado, uma caixa de texto a ser digitada ou uma parte de uma página da Web de onde se deseja copiar o texto.

O processo de localização em segundo plano de um elemento de interface gráfica utiliza vários métodos de segmentação:

• Seletor restrito
• Seletor difuso
• Computer Vision
• Imagem
• Texto nativo

Esses métodos de segmentação são redundantes entre si e há uma classificação em vigor de acordo com a qual os métodos de segmentação são usados. A hierarquia leva em consideração o poder de segmentação e a resiliência a alterações de interface gráfica de cada método de segmentação. Assim, a ordem para encontrar o elemento de interface gráfica é a seguinte:

1. O método de segmentação principal é representado pelos seletores: Seletor Restrito ou Difuso.
2. O método de segmentação secundário é o Computer Vision.
3. O método de segmentação terciário é Imagem (desabilitado por padrão).

O/A é exibido ao lado do método de segmentação principal no tempo de design, simulando o cenário em runtime.

Configurações de projeto padrão para métodos de segmentação em todas as tecnologias

A tabela abaixo mostra as configurações padrão dos projetos para os métodos de segmentação em diferentes tecnologias.

Métodos de segmentação	Aplicativos da Área de Trabalho	Navegadores da Web	Java	SAP
Seletor restrito
Seletor difuso
Computer Vision
Imagem

Configuração do projeto: Aguardar o método de segmentação principal atingir o limite de tempo

O método Aguardar a segmentação principal até a configuração do projeto expirar (Configurações do Projeto > UIAutomation Modern), que é habilitada por padrão em novos projetos a partir da versão do pacote de atividades 23.10.3 e que pode ser habilitada manualmente para projetos criados antes dessa versão do pacote de atividades. , oferece ao método de segmentação principal algum tempo extra para consumir seu tempo limite total até que qualquer método de segmentação de fallback possa ser usado.

Se um dos métodos de segmentação primários conseguir encontrar o elemento de interface gráfica antes que o tempo limite expire, ele será usado como método para interagir com o elemento de interface gráfica. Seletor restrito é o método de segmentação que primeiro pesquisa o elemento de interface gráfica, seguido imediatamente pelo Seletor difuso. Além disso, o Seletor restrito tem prioridade sobre o Seletor difuso.

Quando o elemento de interface gráfica não for encontrado pelos métodos de segmentação primários antes que o tempo limite expire, portanto, se após todas as novas tentativas dentro do tempo limite alocado nem o Seletor restrito, nem o Seletor difuso encontrarem o elemento de interface gráfica, somente então os métodos de segmentação secundário e terciário começam a pesquisar o elemento de interface gráfica dentro de um tempo limite próprio.

Essa configuração do projeto também traz mais previsibilidade e visibilidade para problemas relacionados ao seletor, para que você possa ter melhor controle sobre a segmentação de seus elementos de interface gráfica, enquanto também tem o substituto sólido que o Computer Vision fornece.

Se você desabilitar essa configuração do projeto, todos os métodos de segmentação competem em um único tempo limite para encontrar o elemento de interface gráfica de acordo com a hierarquia: um destino encontrado por método de segmentação de classificação inferior será usado apenas se um método de segmentação de classificação superior não o fizer.

Configuração do projeto: mostrar correspondências mais próximas na mensagem de erro “Elemento não encontrado”

A opção Mostrar correspondências mais próximas na mensagem de erro "Elemento não encontrado" a configuração do projeto (Configurações do projeto > UIAutomation Modern) está habilitada por padrão em novos projetos a partir da versão 23.10.3 do pacote de atividades, e pode ser habilitada manualmente para projetos criados antes desta versão do pacote de atividades. Quando essa configuração é habilitada juntamente com a configuração do projeto Aguardar método de segmentação principal até atingir o limite de tempo, se um seletor falhar, um aviso é exibido nos logs mostrando o método usado para localizar o elemento de interface gráfica com dez sugestões das correspondências de seletor mais próximas que podem ser usado para substituir o seletor defeituoso.

Não é recomendável editar manualmente o descritor, pois todo esse processo é estudado para ser perfeito para o usuário e deve fornecer bons resultados sem a necessidade de configuração avançada. Ainda assim, se você quiser configurar funcionalidades mais avançadas para seu descritor, você pode habilitar, desabilitar e editar os métodos de segmentação.

Seletor restrito

Um seletor é um fragmento XML que contém os atributos de um elemento de interface gráfica e seus pais, incluindo o aplicativo de destino. Os seletores são usados para segmentar elementos de interface gráfica na tela, inspecionando-os e seus atributos e fazendo sua correspondência com os atributos no seletor. Você pode descobrir mais sobre o que é um seletor no ecossistema da UiPath visualizando esta página.

O seletor Restrito do elemento de destino pode ser editado na seção dedicada na janela Opções de Seleção. Você também pode usar o botão Abrir no UI Explorer para editar o seletor no UI Explorer.

O campo do seletor Restrito é compatível com o uso e criação de variáveis e argumentos, a partir do menu de contexto (acessível clicando com o botão direito do mouse).

Você também pode selecionar uma parte do seletor e usar o menu de contexto para convertê-lo diretamente em uma variável pré-preenchida com sua seleção.

Você também pode selecionar uma variável já criada no menu suspenso Nome da variável e usá-la em seu seletor.

A caixa de seleção Substituir valor padrão permite que você substitua o valor em sua variável predefinida por sua seleção atual.

O botão Confirmar salva as alterações feitas em seu seletor.

As seguintes teclas de atalho estão disponíveis:

• Ctrl+Space: escolhe a variável
• Ctrl+Shift+Space: escolher argumento
• Ctrl+K: criar variável
• Ctrl+M: criar argumento

Importante:

Se houver uma variável quanto um argumento com o mesmo nome, a variável sempre é definida como padrão e usada no tempo de execução.

Os argumentos com nomes idênticos às variáveis são ocultos do menu de seleção de variáveis na Tela de Seleção.

As alterações feitas com variáveis e argumentos podem ser propagadas em todas as outras instâncias onde forem encontradas. Por exemplo, se uma variável for usada nos campos Seletor restrito e Seletor difuso, alterá-la em um dos campos gera uma mensagem informando que o mesmo valor foi encontrado em outro campo, oferecendo a opção de substituir todas as instâncias por o novo valor.

Os seletores restritos também são compatíveis com curingas, que podem ser usados para substituir nenhum ou vários caracteres em uma string. Você pode saber ais sobre essa funcionalidade aqui.

Seletor difuso

Um seletor difuso é um seletor que leva em consideração possíveis alterações nos atributos de um elemento, identificando-os com base em um padrão, em vez de uma correspondência exata. Esse método funciona melhor quando usado com âncoras.

O seletor Difuso é muito semelhante ao seletor Strict, com a diferença de que seus atributos são correspondidos de forma difusa, em vez de correspondência perfeita. Isso significa que um seletor Difuso pode gerar vários elementos, ao contrário do seletor Restrito, que gera um único elemento de cada vez.

O seletor difuso pode ser editado a partir de sua seção dedicada na janela Opções de seleção.

A precisão da correspondência do Seletor difuso baseia-se no algoritmo de distância Levenshtein para contar a semelhança dos seletores. O valor padrão é 0,5 e pode ser configurado no controle deslizante Precisão ou diretamente no campo de entrada digitando um valor válido. A precisão da correspondência pode ser definida dentro de um intervalo de 0,4 a 1, em que um valor menor indica um grau maior de aproximação, o que significa que o Seletor difuso gera mais elementos, e um valor maior indica um grau menor de aproximação, o que significa que o Seletor difuso gera menos elementos.

Assim como o seletor Restrito, o campo do seletor difuso é compatível com o uso e a criação de variáveis e argumentos, e também é compatível com curingas. Para obter mais detalhes, consulte as informações fornecidas acima.

Se o elemento indicado contiver texto, o texto será exibido na caixa de entrada abaixo da janela de edição do seletor difuso. Se texto for exibido nesta caixa de entrada, no runtime ele deve ser encontrado no próprio elemento para ser considerado uma correspondência.

O menu suspenso ao lado da caixa de entrada tem as seguintes opções:

• Texto é/InnerText é/FullText é (dependendo do método de extração de texto usado) - Exibe o texto que é extraído; o melhor método de coleta é identificado automaticamente e é recomendável usá-lo.
• Ignorar texto - Ignora o texto especificado na caixa de entrada.

Quando a pesquisa de destino ou âncora usando um seletor difuso falha, uma exceção personalizada é lançada exibindo as correspondências mais próximas para reparar o seletor com falha.

The UI element could not be located using the configured Fuzzy selector for Target or Anchor.

'Target' search failed for selector:
	<ctrl name='Use*' role='radio button' /><ctrl name='Use mimi' role='XYZ text' automationid='' />
These are the closest selector matches found:
	[84%] <ctrl name='Use Amount' role='radio button' /><ctrl role='text' automationid='' />
	[83%] <ctrl name='Use Both' role='radio button' /><ctrl role='text' automationid='' />
	[82%] <ctrl name='Use Piece Count' role='radio button' /><ctrl role='text' automationid='' />
	
'Anchor 1' search failed for selector:
	<ctrl name='Configuration' role='text' /><ctrl name='Configuration' role='text' automationid='' check:text='XYZ Config' />
These are the closest selector matches found:
	[78%] <ctrl name='Configuration' role='text' /><ctrl name='Configuration' role='text' automationid='' check:text='Configuration' />
	[64%] <ctrl name='Transaction #:' role='text' /><ctrl name='Transaction #:' role='text' automationid='' check:text='Transaction #:' />
	[63%] <ctrl name='Deposit transaction' role='text' /><ctrl name='Deposit transaction' role='text' automationid='' check:text='Deposit transaction' />
	
'Anchor 2' search failed for selector:
	<ctrl name='Use Both' role='radio button' automationid='' check:fulltext='Use XYZZZZZZ' />
These are the closest selector matches found:
	[83%] <ctrl name='Use Both' role='radio button' automationid='' check:fulltext='Use Both&#xD;&#xA;' />
	[74%] <ctrl name='Use Amount' role='radio button' automationid='' check:fulltext='Use Amount&#xD;&#xA;' />
	[68%] <ctrl name='Use Piece Count' role='radio button' automationid='' check:fulltext='Use Piece Count&#xD;&#xA;' />

As correspondências mais próximas não são exibidas se você alterar o seletor padrão adicionando ou removendo nós do seletor ou se a pesquisa de destino ou âncora falhou por causa de várias correspondências.

Você pode encontrar mais informações sobre seletores no Guia do Studio.

Computer Vision

O Computer Vision é um mecanismo acionado por IA que permite que UiPath Robots vejam e entendam todos os elementos de interface gráfica em uma tela de computador. O Computer Vision melhora a segmentação: quando o driver não consegue "ver" alguns elementos de interface gráfica, o Computer Vision pode habilitar a automação de interface gráfica. Portanto, isso aumenta a confiabilidade e a resiliência a alterações em automações baseadas em interface gráfica e é um poderoso fallback para os outros métodos de segmentação.

O Computer Vision está amplamente disponível: seja no Studio Desktop para Windows e projetos multiplataforma ou no Studio Web.

Para usar o Computer Vision como um método de segmentação, você precisa acessar Configurações do projeto > Computer Vision e certificar-se de definir o ponto de extremidade do servidor correto. Você pode deixar esse campo como está e usar o UiPath Cloud, que é preenchido por padrão, ou você pode inserir outro valor selecionando qualquer um dos outros pontos de extremidade públicos específicos de uma região do servidor ou seu próprio servidor no local.

Outra maneira de usar o Computer Vision como um método de segmentação é definir Usar Servidor Local como True. Isso indica que o pacote UiPath.ComputerVision.LocalServer está instalado em seu projeto. Quando o Servidor local é habilitado, o valor do servidor é substituído. No entanto, o Servidor local não está disponível em projetos multiplataforma.

Imagem

Este método de segmentação usa uma imagem na janela do aplicativo que identifica o elemento, por exemplo, um ícone ou um botão.

Se a automação de imagem for usada para seu destino, você também pode exibir a captura de tela do elemento, além de ajustar a precisão da imagem. O valor padrão é 0,8 e pode ser configurado no controle deslizante Precisão ou diretamente no campo de entrada, digitando um valor válido. A precisão pode ser definida dentro de um intervalo de 0,4 a 1. Para mais informações, consulte a seção Automação de imagem e texto .

Se você quiser definir destinos somente imagem, pode usar a seleção de região da imagem (F3) ou fazer uma seleção de caixa da área que deseja usar como seu destino/âncora durante a indicação.

Também é possível usar a atualização para atualizar manualmente a imagem que você selecionou, caso a imagem do elemento tenha sido alterada desde que foi indicado.

O método de segmentação de Imagem está desabilitado por padrão nas Configurações do projeto.

Para habilitá-lo no nível do projeto, vá para Configurações do projeto > Automação de interface gráfica Moderna > Métodos de segmentação - Aplicativos de área de trabalho / Métodos de segmentação - Navegadores da Web / Métodos de segmentação - Java / Métodos de segmentação - SAP (dependendo do tipo de aplicativo que você deseja automatizar) > Imagem > selecione Verdadeiro.

Para habilitar o método em um elemento especificado, o elemento deve ser válido.

Texto nativo

Se você selecionou a caixa de seleção Habilitar Texto Nativo ao indicar o elemento, o método de segmentação Texto Nativo será usado. Esse método permite usar todos os rótulos de texto identificados com o método Native para identificar o elemento com o qual você deseja interagir.

O rótulo de texto identificado por meio desse método pode ser editado a partir de sua seção dedicada, e você pode especificar se deseja que o texto diferencie maiúsculas de minúsculas ou não, usando o botão Alternar diferenciação entre maiúsculas e minúsculas .

Edição offline

Quando um aplicativo não está mais aberto, mas você deseja editar seu descritor, selecionar Editar destino (E) no menu contextual no corpo da atividade solicita a você a Tentar novamente, Editar off-line ou Cancelar.

Selecionar a opção Editar offline abre a tela de seleção no modo de edição offline. No modo de edição offline, não é possível adicionar âncoras, validar o descritor ou outra funcionalidade que exija um aplicativo dinâmico.

Se você marcar a caixa de seleção Não mostrar novamente , a próxima vez que você quiser editar o destino, ela abrirá a tela de seleção diretamente.

Validação do descritor

O processo de validação permite que você verifique a eficácia da seleção atual na identificação do destino verificando-o pelo uso de todos os métodos e âncoras selecionados. Você pode validar sua seleção usando o botão Validar na Tela Seleção. O resultado da validação é exibido na parte superior da janela Opções de seleção. Se ajustes forem necessários, uma mensagem é exibida com informações sobre como melhorar a seleção.

Se você tiver um par de destino e âncora, cada um deles usa todos os métodos disponíveis para segmentação. Para encontrar o destino final, todas as combinações possíveis para cada um desses elementos são correspondidas aos elementos na tela e uma pontuação é fornecida após a correspondência.

Após realizar a validação, se for encontrada alguma duplicata, ela será destacada no aplicativo de destino. Se nenhuma duplicata for encontrada, os ícones aparecerão ao lado dos métodos de segmentação, informando você sobre o estado de cada método de segmentação na situação em questão.

O desempenho de cada método é exibido na seção Configuração da janela Opções de seleção usando um dos seguintes ícones:

- O método de segmentação que foi mais rápido para identificar com sucesso o elemento.

- O método identificou com sucesso o elemento, mas não foi o mais rápido.

- O método encontrou duplicatas e o elemento correto foi identificado usando esse método com outros métodos de segmentação.

- O método encontrou duplicatas e o elemento correto não pôde ser identificado usando esse método.

- o método não conseguiu identificar nenhum elemento.