Métodos de extração de saída ou tela

Os métodos de saída ou extração de tela se referem a essas atividades que permitem que você extraia dados de um elemento ou documento de interface gráfica especificado, como um arquivo .pdf.

Para entender qual é o melhor para automatizar seu processo de negócios, vamos ver a diferença entre eles.

Método de Tapabilidade	Velocidade	Precisão	Execução em segundo plano	Extrair a posição do texto	Extrair texto oculto	Compatível com o Citrix
Texto Completo	10/10	100%	sim	não	sim	não
Nativo	8/10	100%	não	sim	não	não
OCR	3/10	98%	não	sim	não	sim

Texto Completo é o método padrão, ele é rápido e preciso, mas diferente do método Nativo, ele não consegue extrair as coordenadas de tela do texto.

Ambos os métodos funcionam apenas com aplicativos de área de trabalho, mas o método Nativo funciona apenas com aplicativos que são criados para renderizar texto com a Graphics Device Interface (GDI).

O OCR não é 100% preciso, mas pode ser útil para extrair textos que os outros dois métodos não conseguem, pois ele funciona com todos os aplicativos, incluindo o Citrix. O Studio usa dois mecanismos de OCR por padrão: o Google Tesseract e o Microsoft Modi.

Os idiomas podem ser alterados para os mecanismos de OCR e você pode consultar como Instalar os idiomas para OCR aqui.

Método de Tapabilidade	Suporte a várias linguagens	Tamanho de área preferível	Compatibilidade com a inversão de cor	Definir o formato de texto esperado	Filtrar os caracteres permitidos	Melhor com o Microsoft Fonts
Google Tesseract	Pode ser adicionado	Pequeno	sim	sim	sim	não
Microsoft MODI	Compatível por padrão	Grande	não	não	não	sim

Para começar a extrair texto de várias fontes, clique no botão Extração de Tela, no grupo Assistentes, na aba Design da faixa de opções.

O assistente de extração de tela permite que você aponte em um elemento de interface gráfica e extraia texto dele, usando um dos três métodos de saída descritos acima. O Studio escolhe automaticamente um método de extração de tela para você e exibe-o no topo da janela Assistente de Extração de Tela.

Para alterar o método de extração de tela, selecione outro no painel Opções e clique em Atualizar.

Quando estiver satisfeito com os resultados da extração, clique em Copiar para Área de Transferência e depois em Finalizar. A última opção copia o texto extraído para a área de transferência, e ele pode ser adicionado a uma atividade Generate Data Table no painel Designer. Assim como a gravação da área de trabalho, a extração de tela gera um contêiner (com o seletor da janela de nível superior) que contém atividades e seletores parciais para cada atividade.

Cada tipo de extração de tela vem com recursos diferentes no Assistente de Extração de Tela, no painel Opções:

1. Texto Completo

   
   

   

   
   
   • Ignorar Oculto – Quando essa caixa de seleção estiver selecionada, o texto oculto do elemento de interface gráfica selecionado não será copiado.

2. Nativo

   
   

   

   
   
   • Sem Formatação – Quando essa caixa de seleção estiver selecionada, o texto copiado não extrai informações de formatação do texto. Caso contrário, a posição relativa do texto extraído será mantida.
   • Obter Informações de Palavras – Quando esta caixa de seleção estiver selecionada, o Studio também extrairá as coordenadas da tela de cada palavra. Além disso, o campo Separadores Personalizados será exibido, o que permite que você especifique os caracteres usados como separadores. Se o campo estiver vazio, todos os separadores de texto conhecidos serão usados.

3. Google OCR

   
   

   

   
   
   • Idiomas – Apenas inglês está disponível por padrão.
   • Caracteres – Permite que você selecione os tipos de caracteres a serem extraídos. As seguintes opções estão disponíveis, Todos os caracteres, Apenas números, Letras, Letras maiúsculas, Letras minúsculas, Número de telefone, Moeda, Data e Personalizados. Se você selecionar Personalizados, dois campos adicionais, Permitidos e Negados, são exibidos e permitem que você crie regras personalizadas sobre os tipos de caracteres a serem extraídos e os que devem ser evitados.
   • Inverter – Quando essa caixa de seleção estiver selecionada, as cores do elemento de interface gráfica serão invertidas antes da extração. Isso é útil quando o plano de fundo estiver mais escuro que a cor do texto.
   • Escala – O fator de dimensionamento do elemento ou imagem de interface gráfica selecionado. Quanto mais alto o número, mais a imagem é ampliada. Isso pode fornecer uma leitura melhor de OCR e é recomendado para imagens pequenas.

   • Obter Informações sobre Palavras – Obtém a posição na tela de cada palavra extraída.

     Observação: em algumas instâncias do UiPath Studio, o mecanismo Google Tesseract pode ter arquivos de treinamento (sobre arquivos de treinamento: Wikipedia, GitHub) que não funcionam para certos idiomas que não sejam o inglês. A execução de um projeto com esses arquivos corrompidos pode causar exceções. Para corrigir esse problema, baixe o arquivo de treinamento para o idioma que você deseja usar aqui. Copie-o para a pasta tessdata no diretório de instalação da UiPath. Para verificar se os arquivos de treinamento baixados funcionam, baixe este projeto de teste.

4. UiPath Screen OCR

   
   

   

   
   
   • Endpoint – O endpoint no qual o modelo de OCR está hospedado, seja publicamente seja por meio de uma Habilidade de ML no AI Center.
   • Chave de API – A chave de API do ponto de extremidade.
   • Obter Informações sobre Palavras – Obtém a posição na tela de cada palavra extraída.
   • Usar servidor local - Selecione essa opção se você quiser executar o OCR localmente (requer o Computer Vision Local Server Pack)

5. Microsoft OCR

   Importante: o mecanismo de extração do Microsoft OCR não é compatível com os fluxos de trabalho do .NET 5.
   
   

   

   
   

• Idiomas – Permite que você altere o idioma do texto extraído. O inglês fica selecionado por padrão.
• Escala – O fator de dimensionamento do elemento ou imagem de interface gráfica selecionado. Quanto mais alto o número, mais a imagem é ampliada. Isso pode fornecer uma leitura melhor de OCR e é recomendado para imagens pequenas.
• Obter Informações sobre Palavras – Obtém a posição na tela de cada palavra extraída.

Além de tirar texto de um elemento de interface gráfica indicado, você também pode extrair o valor de vários tipos de atributos, sua posição de tela exata e seu ancestral.

Esse tipo de informação pode ser extraído por meio de atividades dedicadas que são encontradas no painel Atividades, em Automação de interface gráfica > Elemento > Localizar e Automação de interface gráfica > Elemento > Atributo.

Essas atividades são:

• Obter Ancestral – Permite que você recupere um ancestral de um elemento de interface gráfica especificado. Você pode indicar em qual nível da hierarquia de interface gráfica localizar o ancestral, e armazenar os resultados em uma variável UiElement.

  
  

  

  
  

• Obter Atributo – Recupera o valor de um atributo de elemento de interface gráfica especificado. Depois que você indicar o elemento de interface gráfica na tela, uma lista suspensa com todos os atributos disponíveis será exibida.

  
  

  

  
  

• Obter Posição – Recupera o retângulo de limite do UiElement especificado, e é compatível apenas com as variáveis Rectangle.

  
  

  

  
  

O UiPath Studio também possui a Extração Relativa, um método de extração que identifica o local do texto a ser recuperado em relação a uma âncora. Você pode encontrar mais informações sobre isso aqui.

Também é possível gerar tabelas a partir de dados não estruturados e armazenar as informações nas variáveis DataTable, usando o Assistente de Extração de Tela. Para obter mais informações, consulte Geração de tabelas a partir de dados não estruturados.