Actividades de OCR

In some situations, certain applications are not compatible with the usage of normal scraping or UI automation technologies. Activities in Studio which use OCR technology scan the entire screen of the machine, finding all the characters that are displayed. This enables the user to create automations based on what can be seen on the screen, simplifying automation in virtual machine environments. Citrix and other remote desktop utilities are usually the target of OCR-based activities, as they only stream an image of the desktop to the user, which means normal UI selectors are impossible to find.

Nota: Para crear automatizaciones, una de las mejores prácticas es utilizar el Asistente de grabación para crear el proyecto, generar automáticamente los selectores y luego ajustar las actividades para que se adapten mejor a tus necesidades.

Clic en texto OCR y Mantener el puntero sobre texto OCR utilizan OCR para escanear la pantalla de la máquina buscando el texto y realizar acciones relacionadas con él. Si los elementos gráficos cambian, pero el texto no, las automatizaciones creadas mediante el reconocimiento de texto suelen seguir funcionando. Son actividades muy útiles para automatizar acciones básicas en entornos de máquinas virtuales. Como entrada, estas actividades reciben un Destino, que puede ser una variable de cadena, una variable de región, una variable de ElementoDeIU o un selector, que indican las coordenadas donde debe realizarse la acción. El destino también puede generarse automáticamente usando la funcionalidad de Indicar en pantalla, que trata de identificar los elementos de la interfaz de usuario en la región indicada, y genera selectores para ellos. Si esto no funciona en ese caso, es posible que haya que intervenir manualmente.

Obtener texto OCR extrae una cadena y su información de un elemento de la IU indicado utilizando el método de extracción de pantalla OCR. Esta actividad también se puede generar automáticamente al realizar la extracción de pantalla junto con un contenedor. De manera predeterminada, se utiliza el motor de Búsquedas OCR de Google, pero se puede cambiar fácilmente con Abbyy o Microsoft. Hay algunas diferencias entre estos motores OCR, como se explica aquí, que los hacen aptos para diferentes situaciones. Como entrada, esta actividad recibe un Destino, que puede ser una variable de Región, una variable ElementoDeIU o un selector, que te ayuda a identificar lo que deseas automatizar y dónde deben realizarse las acciones. El objetivo también puede generarse automáticamente usando la funcionalidad de Indicar en Pantalla, que trata de identificar los elementos de la UI en la región indicada, y genera selectores para ellos. Si esto no te funciona, puede que tengas que hacerlo manualmente. Como consecuencia de esta actividad se obtiene una variable de cadena que contiene el texto encontrado en el elemento de la IU, y una variable TextInfo que contiene las coordenadas de pantalla de todas las palabras encontradas.

Encontrar la posición del texto OCR busca una cadena dada en un elemento de la UI, y devuelve una variable ElementoDeIU que contiene dicha cadena. Este tipo de actividad puede ser útil para localizar los elementos de la IU en relación con el texto en la pantalla. De entrada, una cadena que contiene el texto a buscar, y un Destino, que puede ser una variable de Región, una variable ElementoDeIU o un selector, que te ayuda a identificar lo que deseas automatizar y dónde se deben realizar las acciones. El destino también puede generarse automáticamente usando la funcionalidad de Indicar en pantalla, que trata de identificar los elementos de la interfaz de usuario en la región indicada, y genera selectores para ellos. Si esto no te funciona, puede que tengas que hacerlo manualmente. Por medio de esta actividad se devuelve una variable ElementoDeIU que contiene la posición donde se encontró el texto.

Texto OCR existente verifica si se encuentra un texto en un elemento de la IU dado mediante la tecnología OCR y genera una variable booleana que es verdadera si el texto existe y falsa en caso contrario. Esta tarea es muy útil en todo tipo de automatización basada en texto, ya que permite tomar decisiones en función de si se muestra o no una determinada cadena, o bien puede utilizarse para realizar determinadas acciones en un bucle, utilizándola como Condición en la actividad Ámbito de reintento. Como entrada, esta actividad recibe una variable Cadena que contiene el texto a buscar, y un Destino, que puede ser una Variable de Región, una variable ElementoDeIU o un selector, que te ayuda a identificar lo que deseas automatizar y dónde deben realizarse las acciones. El destino también puede generarse automáticamente usando la funcionalidad de Indicar en pantalla, que trata de identificar los elementos de la interfaz de usuario en la región indicada, y genera selectores para ellos. Si esto no te funciona, puede que tengas que hacerlo manualmente. Como resultado de esta actividad, se obtiene una variable booleana que indica si el texto fue encontrado o no.

Los motores de OCR, como Google OCR, Google Cloud OCR, Microsoft OCR, Microsoft Cloud OCR y Abbyy Cloud OCR también están disponibles como actividades separadas. Estas actividades extraen una cadena y su posición a partir de una imagen proporcionada mediante diferentes motores de OCR. Estas actividades se pueden utilizar con otras actividades de OCR (hacer clic en texto de OCR, mantener el puntero en texto de OCR, obtener texto de OCR, encontrar la posición del texto de OCR). Como entrada, estas actividades reciben una variable Imagen que contiene el archivo de imagen que se va a escanear. Como salida, las actividades devuelven una variable IEnumerable<KeyValuePair<Rectangle,String>> , que contiene el texto extraído y sus coordenadas en pantalla, y una variable de cadena que contiene el texto extraído.