Actividades de OCR

En algunos casos, ciertas aplicaciones no son compatibles con el uso de tecnologías normales de extracción o de automatización de la IU. Las actividades de Studio que utilizan la tecnología OCR escanean toda la pantalla de la máquina, encontrando todos los caracteres que se muestran. Esta opción permite al usuario crear automatizaciones basadas en lo que se ve en la pantalla, simplificando la automatización en entornos de máquinas virtuales. Citrix y otras herramientas de escritorio remoto suelen ser el objetivo de las actividades basadas en OCR, ya que solo transmiten una imagen del escritorio al usuario, lo que significa que los selectores normales de la interfaz de usuario son imposibles de encontrar.

Nota:

Para crear automatizaciones, una de las mejores prácticas es utilizar el Asistente de grabación para crear el proyecto, generar automáticamente los selectores y luego ajustar las actividades para que se adapten mejor a sus necesidades.

Hacer clic en Texto OCR y Mantener el puntero sobre texto OCR utilizan OCR para escanear la pantalla de la máquina en busca de texto y realizar acciones relacionadas con él. Si los elementos gráficos cambian, pero el texto no, las automatizaciones creadas mediante el reconocimiento de texto seguirán funcionando. Estas son actividades muy útiles en la automatización de acciones básicas en entornos de máquinas virtuales. Como entrada, estas actividades reciben un Destino, que puede ser una variable de cadena, una variable de Región, una variable de ElementoDeIU o un selector, que indican las coordenadas donde se debe realizar la acción. El destino también puede generarse automáticamente utilizando la funcionalidad Indicar en pantalla , que intenta identificar los elementos de la IU en la región indicada y genera selectores para ellos. Si esto no funciona para ti, es posible que se requiera una intervención manual.

Obtener texto OCR extrae una cadena y su información de un elemento de la IU indicado utilizando el método de extracción de pantalla OCR. Esta actividad también se puede generar automáticamente al realizar la extracción de pantalla, junto con un contenedor. De forma predeterminada, se utiliza el motor Google OCR, pero puedes cambiarlo fácilmente con Abbyy o Microsoft. Hay algunas diferencias entre estos motores OCR, como se explica en Métodos de extracción de pantalla y salida, que los hacen adecuados para diferentes situaciones. Como entrada, esta actividad recibe un Destino, que puede ser una variable de Región, una variable de ElementoDeIU o un selector, que te ayuda a identificar lo que quieres automatizar y dónde deben realizarse las acciones. El destino también puede generarse automáticamente utilizando la funcionalidad Indicar en pantalla , que intenta identificar los elementos de la IU en la región indicada y genera selectores para ellos. Si esto no funciona para ti, es posible que se requiera una intervención manual. Esta actividad devuelve una variable de cadena que contiene el texto encontrado en el elemento de IU y una variable TextInfo que contiene las coordenadas de pantalla de todas las palabras encontradas.

Buscar posición de texto OCR busca una cadena determinada en un elemento de la IU y devuelve una variable ElementoDeIU que contiene dicha cadena. Esta actividad puede ser útil para localizar elementos de la IU en relación con el texto en la pantalla. Como entrada, esta actividad recibe una cadena que contiene el texto que se buscará y un Destino, que puede ser una variable de Región, una variable ElementoDeIU o un selector, que te ayuda a identificar lo que quieres automatizar y dónde deben realizarse las acciones. realizarse. El destino también puede generarse automáticamente utilizando la funcionalidad Indicar en pantalla , que intenta identificar los elementos de la IU en la región indicada y genera selectores para ellos. Si esto no funciona para ti, es posible que se requiera una intervención manual. Esta actividad devuelve una variable ElementoDeIU que contiene la posición donde se encontró el texto.

Texto OCR existente comprueba si se encuentra un texto en un elemento de la IU determinado mediante el uso de la tecnología OCR y devuelve una variable booleana que es verdadera si el texto existe y falsa en caso contrario. Esta actividad es útil en todos los tipos de automatización basada en texto, ya que te permite tomar decisiones en función de si se muestra o no una cadena determinada, o puede utilizarse para realizar ciertas acciones en un bucle, utilizándola como Condición en la actividad Reintentar ámbito . Como entrada, esta actividad recibe una cadena que contiene el texto que se va a buscar, y un Destino, que puede ser una variable de Región, una variable de ElementoDeIU o un selector, que te ayuda a identificar lo que quieres automatizar y dónde está el se deben realizar acciones. El destino también puede generarse automáticamente utilizando la funcionalidad Indicar en pantalla , que intenta identificar los elementos de la IU en la región indicada y genera selectores para ellos. Si esto no funciona para ti, es posible que se requiera una intervención manual. Esta actividad devuelve una variable booleana que indica si el texto se encontró o no.

Los motores OCR, como Google OCR, Google Cloud OCR, Microsoft OCR, Microsoft Cloud OCR y Abbyy Cloud OCR también están disponibles como actividades independientes. Estas actividades extraen una cadena y su posición de una imagen proporcionada utilizando diferentes motores OCR. Estas actividades se pueden utilizar con otras actividades de OCR (Hacer clic en texto OCR, Mantener el puntero sobre texto OCR, Obtener texto OCR, Buscar posición de texto OCR). Como entrada, estas actividades reciben una variable de imagen que contiene el archivo de imagen que se escaneará. Como salida, las actividades devuelven una variable IEnumerable<KeyValuePair<Rectangle,String>> , que contiene el texto extraído y sus coordenadas en pantalla, y una variable de cadena que contiene el texto extraído.