Atividades COR

In some situations, certain applications are not compatible with the usage of normal scraping or UI automation technologies. Activities in Studio which use OCR technology scan the entire screen of the machine, finding all the characters that are displayed. This enables the user to create automations based on what can be seen on the screen, simplifying automation in virtual machine environments. Citrix and other remote desktop utilities are usually the target of OCR-based activities, as they only stream an image of the desktop to the user, which means normal UI selectors are impossible to find.

Observação: uma prática recomendada na criação de automações é usar o Assistente de Gravação para criar o projeto, gerar automaticamente os seletores e, em seguida, ajustar as atividades para atender melhor às suas necessidades.

Click OCR Text e Hover OCR Text usam OCR para digitalizar a tela da máquina para obter texto e realizar ações relativas a ele. Se os elementos gráficos forem alterados, mas o texto não, automações criadas usando o reconhecimento de texto ainda poderão funcionar, de maneira geral. Essas são atividades muito úteis na automação de ações básicas em ambientes de máquinas virtuais. Como entrada, essas atividades recebem um Destino, que pode ser uma variável String, uma variável Region, uma variável UIElement ou um seletor, que indicam as coordenadas de onde a ação deve ser executada. O destino também pode ser gerado automaticamente usando a funcionalidade Indicate on Screen, que tenta identificar elementos de interface gráfica na região indicada, e gera seletores para eles. Se isso não funcionar, então a intervenção manual poderá ser necessária.

Get OCR Text extrai uma string e suas informações de um elemento da interface gráfica indicado, usando o método de coleta de tela OCR. Esta atividade também pode ser gerada automaticamente ao realizar a extração da tela com um contêiner. Por padrão, o mecanismo Google OCR é usado, mas é possível facilmente trocar para o da Abbyy ou Microsoft. Há algumas diferenças entre esses mecanismos de OCR, conforme explicado aqui, tornando-os adequados a diferentes situações. Como entrada, essa atividade recebe um Destino, que pode ser uma variável Region, uma variável UiElement ou um seletor, que ajuda a identificar o que você deseja automatizar e onde as ações devem ser executadas. O destino também pode ser gerado automaticamente com a funcionalidade Indicar na tela, que tenta identificar elementos de interface gráfica na região indicada, e gera seletores para eles.Se isso não funcionar, então a intervenção manual poderá ser necessária. Essa atividade retorna uma variável string com o texto encontrado no elemento da interface gráfica e uma variável TextInfo com as coordenadas da tela de todas as palavras encontradas.

Find OCR Text Position procura uma determinada string em um elemento de interface gráfica e retorna uma variável UiElement, que contém a referida string. Essa atividade pode ser útil para localizar elementos da interface gráfica em relação ao texto na tela. Como entrada, essa atividade recebe uma string que contém o texto a ser pesquisado e um Destino, que pode ser uma variável Region, uma variável UiElement ou um seletor, que ajuda a identificar o que você deseja automatizar e onde as ações devem ser realizadas. O destino também pode ser gerado automaticamente usando a funcionalidade Indicate on Screen, que tenta identificar elementos de interface gráfica na região indicada, e gera seletores para eles. Se isso não funcionar, então a intervenção manual poderá ser necessária. Essa atividade retorna uma variável UiElement, que contém a posição na qual o texto foi encontrado.

OCR Text Exists verifica se um texto é encontrado em um determinado elemento de interface gráfica ao usar a tecnologia OCR e retorna uma variável booleana que é verdadeira se o texto existe e falsa caso contrário. Essa atividade é útil em todos os tipos de automação com base em texto, pois permite tomar decisões com base em se uma determinada string é exibida ou não. Pode também ser usada para executar certas ações em um loop, ao usá-la como uma Condição na atividade Retry Scope. Como entrada, essa atividade recebe uma string, que contém o texto a ser pesquisado, e um Destino, que pode ser uma variável Region, uma variável UiElement ou um seletor, que ajuda a identificar o que você deseja automatizar e onde as ações devem ser executadas. O destino também pode ser gerado automaticamente usando a funcionalidade Indicate on Screen, que tenta identificar elementos de interface gráfica na região indicada, e gera seletores para eles. Se isso não funcionar, então a intervenção manual poderá ser necessária. Essa atividade retorna uma variável booleana que indica se o texto foi encontrado ou não.

Mecanismos OCR, como o Google OCR, Google Cloud OCR, Microsoft OCR, Microsoft Cloud OCR e Abbyy Cloud OCR também estão disponíveis como atividades separadas. Essas atividades extraem uma string e a respectiva posição a partir de uma imagem fornecida usando diferentes mecanismos de OCR. Essas atividades podem ser usadas com outras atividades OCR (Clique em Texto OCR, passe o mouse em Texto OCR, Obter Texto OCR, Encontra Posição de Texto OCR). Como entrada, essas atividades recebem uma variável Image, que contém o arquivo de imagem a ser digitalizado. Como saída, as atividades retornam uma variável IEnumerable<KeyValuePair<Rectangle,String>> que tem o texto extraído e suas coordenadas na tela, além de uma variável string com o texto extraído.