Métodos de extração de saída ou tela

Os métodos de saída ou extração de tela se referem a essas atividades que permitem que você extraia dados de um elemento ou documento de interface gráfica especificado, como um arquivo .pdf.

Para entender qual é o melhor para automatizar seu processo de negócios, vamos ver a diferença entre eles.

Método de Tapabilidade	Velocidade	Precisão	Execução em segundo plano	Extrair a posição do texto	Extrair texto oculto	Compatível com o Citrix
Texto Completo	10/10	100%	sim	não	sim	não
Nativo	8/10	100%	não	sim	não	não
OCR	3/10	98%	não	sim	não	sim

Texto Completo é o método padrão, ele é rápido e preciso, mas diferente do método Nativo, ele não consegue extrair as coordenadas de tela do texto.

Ambos os métodos funcionam apenas com aplicativos de área de trabalho, mas o método Nativo funciona apenas com aplicativos que são criados para renderizar texto com a Graphics Device Interface (GDI).

O OCR não é 100% preciso, mas pode ser útil para extrair textos que os outros dois métodos não conseguem, pois ele funciona com todos os aplicativos, incluindo o Citrix. O Studio usa dois mecanismos de OCR por padrão: o Google Tesseract e o Microsoft Modi.

Os idiomas podem ser alterados para os mecanismos de OCR e você pode consultar como Instalar os idiomas para OCR aqui.

Método de Tapabilidade	Suporte a várias linguagens	Tamanho de área preferível	Compatibilidade com a inversão de cor	Definir o formato de texto esperado	Filtrar os caracteres permitidos	Melhor com o Microsoft Fonts
Google Tesseract	Pode ser adicionado	Pequeno	sim	sim	sim	não
Microsoft MODI	Compatível por padrão	Grande	não	não	não	sim

Para começar a extrair texto de várias fontes, clique no botão Extração de Tela, no grupo Assistentes, na aba Design da faixa de opções.

O assistente de extração de tela permite que você aponte em um elemento de interface gráfica e extraia texto dele, usando um dos três métodos de saída descritos acima. O Studio escolhe automaticamente um método de extração de tela para você e exibe-o no topo da janela Assistente de Extração de Tela.

Para alterar o método de extração de tela, selecione outro no painel Opções e clique em Atualizar.

Quando estiver satisfeito com os resultados da extração, clique em Copiar para Área de Transferência e depois em Finalizar. A última opção copia o texto extraído para a área de transferência, e ele pode ser adicionado a uma atividade Generate Data Table no painel Designer. Assim como a gravação da área de trabalho, a extração de tela gera um contêiner (com o seletor da janela de nível superior) que contém atividades e seletores parciais para cada atividade.

Cada tipo de extração de tela vem com recursos diferentes no Assistente de Extração de Tela, no painel Opções:

1. Texto Completo

   
   

   

   
   
   • Ignorar Oculto – Quando essa caixa de seleção estiver selecionada, o texto oculto do elemento de interface gráfica selecionado não será copiado.

2. Nativo

   
   

   

   
   
   • Sem Formatação – Quando essa caixa de seleção estiver selecionada, o texto copiado não extrai informações de formatação do texto. Caso contrário, a posição relativa do texto extraído será mantida.
   • Obter Informações de Palavras – Quando esta caixa de seleção estiver selecionada, o Studio também extrairá as coordenadas da tela de cada palavra. Além disso, o campo Separadores Personalizados será exibido, o que permite que você especifique os caracteres usados como separadores. Se o campo estiver vazio, todos os separadores de texto conhecidos serão usados.

3. Google OCR

   
   

   

   
   
   • Idiomas – Apenas inglês está disponível por padrão.
   • Caracteres – Permite que você selecione os tipos de caracteres a serem extraídos. As seguintes opções estão disponíveis, Todos os caracteres, Apenas números, Letras, Letras maiúsculas, Letras minúsculas, Número de telefone, Moeda, Data e Personalizados. Se você selecionar Personalizados, dois campos adicionais, Permitidos e Negados, são exibidos e permitem que você crie regras personalizadas sobre os tipos de caracteres a serem extraídos e os que devem ser evitados.
   • Inverter – Quando essa caixa de seleção estiver selecionada, as cores do elemento de interface gráfica serão invertidas antes da extração. Isso é útil quando o plano de fundo estiver mais escuro que a cor do texto.
   • Escala – O fator de dimensionamento do elemento ou imagem de interface gráfica selecionado. Quanto mais alto o número, mais a imagem é ampliada. Isso pode fornecer uma leitura melhor de OCR e é recomendado para imagens pequenas.

   • Obter Informações sobre Palavras – Obtém a posição na tela de cada palavra extraída.

     Note: In some instances of Studio, the Google Tesseract engine may have training files (about training files: Wikipedia, GitHub) that do not work for certain non-English languages. Running a project with these corrupted training files may lead to an exception being thrown. To fix this issue, download the training file for the language you wish to use from here and copy it into the tessdata folder from the UiPath^® installation directory. To check if the training files you downloaded work, you can download this test project.

4. UiPath Screen OCR

   
   

   

   
   
   • Endpoint – O endpoint no qual o modelo de OCR está hospedado, seja publicamente seja por meio de uma Habilidade de ML no AI Center.
   • Chave de API – A chave de API do ponto de extremidade.
   • Obter Informações sobre Palavras – Obtém a posição na tela de cada palavra extraída.
   • Usar servidor local - Selecione essa opção se você quiser executar o OCR localmente (requer o Computer Vision Local Server Pack)

5. Microsoft OCR

   Importante: o mecanismo de extração do Microsoft OCR não é compatível com os fluxos de trabalho do .NET 5.
   
   

   

   
   

• Idiomas – Permite que você altere o idioma do texto extraído. O inglês fica selecionado por padrão.
• Escala – O fator de dimensionamento do elemento ou imagem de interface gráfica selecionado. Quanto mais alto o número, mais a imagem é ampliada. Isso pode fornecer uma leitura melhor de OCR e é recomendado para imagens pequenas.
• Obter Informações sobre Palavras – Obtém a posição na tela de cada palavra extraída.

Além de tirar texto de um elemento de interface gráfica indicado, você também pode extrair o valor de vários tipos de atributos, sua posição de tela exata e seu ancestral.

Esse tipo de informação pode ser extraído por meio de atividades dedicadas que são encontradas no painel Atividades, em Automação de interface gráfica > Elemento > Localizar e Automação de interface gráfica > Elemento > Atributo.

Essas atividades são:

• Obter Ancestral – Permite que você recupere um ancestral de um elemento de interface gráfica especificado. Você pode indicar em qual nível da hierarquia de interface gráfica localizar o ancestral, e armazenar os resultados em uma variável UiElement.

  
  

  

  
  

• Obter Atributo – Recupera o valor de um atributo de elemento de interface gráfica especificado. Depois que você indicar o elemento de interface gráfica na tela, uma lista suspensa com todos os atributos disponíveis será exibida.

  
  

  

  
  

• Obter Posição – Recupera o retângulo de limite do UiElement especificado, e é compatível apenas com as variáveis Rectangle.

  
  

  

  
  

O UiPath Studio também possui a Extração Relativa, um método de extração que identifica o local do texto a ser recuperado em relação a uma âncora. Você pode encontrar mais informações sobre isso aqui.

Também é possível gerar tabelas a partir de dados não estruturados e armazenar as informações nas variáveis DataTable, usando o Assistente de Extração de Tela. Para obter mais informações, consulte Geração de tabelas a partir de dados não estruturados.