Actividades de OCR

En algunos casos, ciertas aplicaciones no son compatibles con el uso de tecnologías normales de extracción o de automatización de la IU. Las actividades de Studio que utilizan la tecnología OCR escanean toda la pantalla de la máquina, encontrando todos los caracteres que se muestran. Esta opción permite al usuario crear automatizaciones basadas en lo que se ve en la pantalla, simplificando la automatización en entornos de máquinas virtuales. Citrix y otras herramientas de escritorio remoto suelen ser el objetivo de las actividades basadas en OCR, ya que solo transmiten una imagen del escritorio al usuario, lo que significa que los selectores normales de la interfaz de usuario son imposibles de encontrar.

Nota: Para crear automatizaciones, una de las mejores prácticas es utilizar el Asistente de grabación para crear el proyecto, generar automáticamente los selectores y luego ajustar las actividades para que se adapten mejor a tus necesidades.

Hacer clic en Texto OCR y Mantener el puntero en Texto utilizan OCR para escanear la pantalla de la máquina en busca de texto y realizar acciones relacionadas con este. Si los elementos gráficos cambian, pero el texto no, las automatizaciones creadas mediante el reconocimiento de texto normalmente seguirán funcionando. Estas son actividades muy útiles para automatizar acciones básicas en entornos de máquinas virtuales. Como entrada, estas actividades reciben un Destino, que puede ser una variable de cadena, una variable de Región, una variable de UIElement o un selector, que indican las coordenadas donde debe realizarse la acción. El destino también se puede generar automáticamente mediante la funcionalidad Indicar en pantalla , que intenta identificar elementos de IU en la región indicada y genera selectores para ellos. Si esto no funciona para usted, entonces podría ser necesaria una intervención manual.

Obtener texto de OCR extrae una cadena y su información de un elemento de IU indicado mediante el método de extracción de pantalla de OCR. Esta actividad también se puede generar automáticamente al realizar la extracción de pantalla, junto con un contenedor. De forma predeterminada se utiliza el motor OCR de Google, pero puede cambiarlo fácilmente con Abbyy o Microsoft. Existen algunas diferencias entre estos motores de OCR, como se explica aquí, lo que los hace adecuados para diferentes situaciones. Como entrada, esta actividad recibe un Destino, que puede ser una variable de Región, una variable de UiElement o un selector, que te ayuda a identificar lo que deseas automatizar y dónde se deben realizar las acciones. El destino también se puede generar automáticamente mediante la funcionalidad Indicar en pantalla , que intenta identificar elementos de IU en la región indicada y genera selectores para ellos. Si esto no funciona para usted, entonces podría ser necesaria una intervención manual. Esta actividad devuelve una variable de cadena que contiene el texto que se encuentra en el elemento de la interfaz de usuario y una variable TextInfo que contiene las coordenadas de pantalla de todas las palabras encontradas.

Encontrar la posición del texto OCR busca una cadena dada en un elemento de la UI, y devuelve una variable ElementoDeIU que contiene dicha cadena. Este tipo de actividad puede ser útil para localizar los elementos de la IU en relación con el texto en la pantalla. De entrada, una cadena que contiene el texto a buscar, y un Destino, que puede ser una variable de Región, una variable ElementoDeIU o un selector, que te ayuda a identificar lo que deseas automatizar y dónde se deben realizar las acciones. El destino también puede generarse automáticamente usando la funcionalidad de Indicar en pantalla, que trata de identificar los elementos de la interfaz de usuario en la región indicada, y genera selectores para ellos. Si esto no te funciona, puede que tengas que hacerlo manualmente. Por medio de esta actividad se devuelve una variable ElementoDeIU que contiene la posición donde se encontró el texto.

Texto OCR existente verifica si se encuentra un texto en un elemento de la IU dado mediante la tecnología OCR y genera una variable booleana que es verdadera si el texto existe y falsa en caso contrario. Esta tarea es muy útil en todo tipo de automatización basada en texto, ya que permite tomar decisiones en función de si se muestra o no una determinada cadena, o bien puede utilizarse para realizar determinadas acciones en un bucle, utilizándola como Condición en la actividad Ámbito de reintento. Como entrada, esta actividad recibe una variable Cadena que contiene el texto a buscar, y un Destino, que puede ser una Variable de Región, una variable ElementoDeIU o un selector, que te ayuda a identificar lo que deseas automatizar y dónde deben realizarse las acciones. El destino también puede generarse automáticamente usando la funcionalidad de Indicar en pantalla, que trata de identificar los elementos de la interfaz de usuario en la región indicada, y genera selectores para ellos. Si esto no te funciona, puede que tengas que hacerlo manualmente. Como resultado de esta actividad, se obtiene una variable booleana que indica si el texto fue encontrado o no.

Los motores de OCR, como Google OCR, Google Cloud OCR, Microsoft OCR, Microsoft Cloud OCR y Abbyy Cloud OCR también están disponibles como actividades separadas. Estas actividades extraen una cadena y su posición a partir de una imagen proporcionada mediante diferentes motores de OCR. Estas actividades se pueden utilizar con otras actividades de OCR (hacer clic en texto de OCR, mantener el puntero en texto de OCR, obtener texto de OCR, encontrar la posición del texto de OCR). Como entrada, estas actividades reciben una variable Imagen que contiene el archivo de imagen que se va a escanear. Como salida, las actividades devuelven una variable IEnumerable<KeyValuePair<Rectangle,String>> , que contiene el texto extraído y sus coordenadas en pantalla, y una variable de cadena que contiene el texto extraído.