Atividades COR

Em algumas situações, determinados aplicativos não são compatíveis com o uso de tecnologias de extração normal ou de automação de IU. Atividades no Studio que usam a tecnologia OCR escaneiam toda a tela da máquina, encontrando todos os caracteres exibidos. Isso permite que o usuário crie automações com base no que pode ser visto na tela, simplificando a automação em ambientes de máquinas virtuais. O Citrix e outros utilitários da área de trabalho remota geralmente são o destino de atividades baseadas em OCR, pois eles apenas transmitem uma imagem da área de trabalho para o usuário, o que significa que é impossível localizar os seletores de IU normais.

Observação: uma prática recomendada na criação de automações é usar o Assistente de Gravação para criar o projeto, gerar automaticamente os seletores e, em seguida, ajustar as atividades para atender melhor às suas necessidades.

Click OCR Text e Hover OCR Text usam OCR para verificar a tela da máquina por texto e executar ações em relação a ele. Se os elementos gráficos forem alterados, mas o texto não, automações criadas usando o reconhecimento de texto ainda poderão funcionar, de maneira geral. Essas são atividades muito úteis na automação de ações básicas em ambientes de máquinas virtuais. Como entrada, essas atividades recebem um Destino, que pode ser uma variável String, uma variável Region, uma variável UIElement ou um seletor, que indicam as coordenadas de onde a ação deve ser executada. O destino também pode ser gerado automaticamente usando a funcionalidade Indicate on Screen , que tenta identificar elementos de IU na região indicada, e gera seletores para eles. Se isso não funcionar, então a intervenção manual poderá ser necessária.

Get OCR Text extrai uma string e suas informações de um elemento da IU indicado, usando o método de extração de tela OCR. Esta atividade também pode ser gerada automaticamente ao realizar a extração da tela com um contêiner. Por padrão, o mecanismo Google OCR é usado, mas é possível facilmente trocar para o da Abbyy ou Microsoft. Há algumas diferenças entre esses mecanismos de OCR, conforme explicado aqui, pois elas se adequam a diferentes situações. Como entrada, essa atividade recebe um Destino, que pode ser uma variável Region, uma variável UiElement ou um seletor, que ajuda a identificar o que você deseja automatizar e onde as ações devem ser executadas. O destino também pode ser gerado automaticamente usando a funcionalidade Indicate on Screen , que tenta identificar elementos de IU na região indicada, e gera seletores para eles. Se isso não funcionar, então a intervenção manual poderá ser necessária. Essa atividade retorna uma variável string com o texto encontrado no elemento da interface de usuário e uma variável TextInfo com as coordenadas da tela de todas as palavras encontradas.

Find OCR Text Position procura uma determinada string em um elemento de IU e retorna uma variável UiElement, que contém a referida string. Essa atividade pode ser útil para localizar elementos da IU em relação ao texto na tela. Como entrada, essa atividade recebe uma string que contém o texto a ser pesquisado e um Destino, que pode ser uma variável Region, uma variável UiElement ou um seletor, que ajuda a identificar o que você deseja automatizar e onde as ações devem ser realizadas. O destino também pode ser gerado automaticamente usando a funcionalidade Indicate on Screen, que tenta identificar elementos de IU na região indicada, e gera seletores para eles. Se isso não funcionar, então a intervenção manual poderá ser necessária. Essa atividade retorna uma variável UiElement, que contém a posição na qual o texto foi encontrado.

OCR Text Exists verifica se um texto é encontrado em um determinado elemento de IU ao usar a tecnologia OCR e retorna uma variável booleana que é verdadeira se o texto existe e falsa caso contrário. Essa atividade é útil em todos os tipos de automação com base em texto, pois permite tomar decisões com base em se uma determinada string é exibida ou não. Pode também ser usada para executar certas ações em um loop, ao usá-la como uma Condição na atividade Retry Scope. Como entrada, essa atividade recebe uma string, que contém o texto a ser pesquisado, e um Destino, que pode ser uma variável Region, uma variável UiElement ou um seletor, que ajuda a identificar o que você deseja automatizar e onde as ações devem ser executadas. O destino também pode ser gerado automaticamente usando a funcionalidade Indicate on Screen, que tenta identificar elementos de IU na região indicada, e gera seletores para eles. Se isso não funcionar, então a intervenção manual poderá ser necessária. Essa atividade retorna uma variável booleana que indica se o texto foi encontrado ou não.

Mecanismos OCR, como o Google OCR, Google Cloud OCR, Microsoft OCR, Microsoft Cloud OCR e Abbyy Cloud OCR também estão disponíveis como atividades separadas. Essas atividades extraem uma string e a respectiva posição a partir de uma imagem fornecida usando diferentes mecanismos de OCR. Essas atividades podem ser usadas com outras atividades OCR (Clique em Texto OCR, passe o mouse em Texto OCR, Obter Texto OCR, Encontra Posição de Texto OCR). Como entrada, essas atividades recebem uma variável Image, que contém o arquivo de imagem a ser digitalizado. Como saída, as atividades retornam uma variável IEnumerable<KeyValuePair<Rectangle,String>> que tem o texto extraído e suas coordenadas na tela, além de uma variável string com o texto extraído.