Atividades COR

Em algumas situações, determinados aplicativos não são compatíveis com o uso de tecnologias de extração normal ou de automação de IU. Atividades no Studio que usam a tecnologia OCR escaneiam toda a tela da máquina, encontrando todos os caracteres exibidos. Isso permite que o usuário crie automações com base no que pode ser visto na tela, simplificando a automação em ambientes de máquinas virtuais. O Citrix e outros utilitários da área de trabalho remota geralmente são o destino de atividades baseadas em OCR, pois eles apenas transmitem uma imagem da área de trabalho para o usuário, o que significa que é impossível localizar os seletores de IU normais.

Observação: uma prática recomendada na criação de automações é usar o Assistente de Gravação para criar o projeto, gerar automaticamente os seletores e, em seguida, ajustar as atividades para atender melhor às suas necessidades.

Click OCR Text e Hover OCR Text usam OCR para verificar a tela da máquina por texto e executar ações em relação a ele. Se os elementos gráficos forem alterados, mas o texto não, automações criadas usando o reconhecimento de texto ainda poderão funcionar, de maneira geral. Essas são atividades muito úteis na automação de ações básicas em ambientes de máquinas virtuais. Como entrada, essas atividades recebem um Destino, que pode ser uma variável String, uma variável Region, uma variável UIElement ou um seletor, que indicam as coordenadas de onde a ação deve ser executada. O destino também pode ser gerado automaticamente usando a funcionalidade Indicate on Screen , que tenta identificar elementos de IU na região indicada, e gera seletores para eles. Se isso não funcionar, então a intervenção manual poderá ser necessária.

Get OCR Text extracts a string and its information from an indicated UI element using the OCR screen scraping method. This activity can also be automatically generated when performing screen scraping, along with a container. By default, the Google OCR engine is used, but you can easily change it with Abbyy or Microsoft. There are some differences between these OCR engines, as explained in Output and Screen Scraping Methods, making them fit for different situations. As input, this activity receives a Target, which can be either a Region variable, a UiElement variable or a selector, that helps you identify what you want to automate and where the actions must be performed. The target can also be automatically generated by using the Indicate on Screen functionality, which tries to identify UI elements in the indicated region, and generates selectors for them. If this does not work for you, then manual intervention might be required. This activity returns a string variable containing the text found in the UI element, and a TextInfo variable that contains the screen coordinates of all the found words.

Find OCR Text Position procura uma determinada string em um elemento de IU e retorna uma variável UiElement, que contém a referida string. Essa atividade pode ser útil para localizar elementos da IU em relação ao texto na tela. Como entrada, essa atividade recebe uma string que contém o texto a ser pesquisado e um Destino, que pode ser uma variável Region, uma variável UiElement ou um seletor, que ajuda a identificar o que você deseja automatizar e onde as ações devem ser realizadas. O destino também pode ser gerado automaticamente usando a funcionalidade Indicate on Screen, que tenta identificar elementos de IU na região indicada, e gera seletores para eles. Se isso não funcionar, então a intervenção manual poderá ser necessária. Essa atividade retorna uma variável UiElement, que contém a posição na qual o texto foi encontrado.

OCR Text Exists verifica se um texto é encontrado em um determinado elemento de IU ao usar a tecnologia OCR e retorna uma variável booleana que é verdadeira se o texto existe e falsa caso contrário. Essa atividade é útil em todos os tipos de automação com base em texto, pois permite tomar decisões com base em se uma determinada string é exibida ou não. Pode também ser usada para executar certas ações em um loop, ao usá-la como uma Condição na atividade Retry Scope. Como entrada, essa atividade recebe uma string, que contém o texto a ser pesquisado, e um Destino, que pode ser uma variável Region, uma variável UiElement ou um seletor, que ajuda a identificar o que você deseja automatizar e onde as ações devem ser executadas. O destino também pode ser gerado automaticamente usando a funcionalidade Indicate on Screen, que tenta identificar elementos de IU na região indicada, e gera seletores para eles. Se isso não funcionar, então a intervenção manual poderá ser necessária. Essa atividade retorna uma variável booleana que indica se o texto foi encontrado ou não.

Mecanismos OCR, como o Google OCR, Google Cloud OCR, Microsoft OCR, Microsoft Cloud OCR e Abbyy Cloud OCR também estão disponíveis como atividades separadas. Essas atividades extraem uma string e a respectiva posição a partir de uma imagem fornecida usando diferentes mecanismos de OCR. Essas atividades podem ser usadas com outras atividades OCR (Clique em Texto OCR, passe o mouse em Texto OCR, Obter Texto OCR, Encontra Posição de Texto OCR). Como entrada, essas atividades recebem uma variável Image, que contém o arquivo de imagem a ser digitalizado. Como saída, as atividades retornam uma variável IEnumerable<KeyValuePair<Rectangle,String>> que tem o texto extraído e suas coordenadas na tela, além de uma variável string com o texto extraído.