Utilizar las actividades de Computer Vision

Todas las actividades de Computer Vision funcionan solo cuando están dentro de una actividad del Ámbito de pantalla de CV , que establece la conexión real con el servidor de la red neuronal, lo que le permite analizar la interfaz de usuario de las aplicaciones que desea automatizar.

Cualquier flujo de trabajo que utilice actividades de Computer Vision debe comenzar arrastrando una actividad de Ámbito de pantalla de CV al panel del diseñador.

Una vez hecho esto, el botón Indicar en pantalla situado en el cuerpo de la actividad de ámbito se puede utilizar para seleccionar el área de la pantalla en la que se quiere trabajar.

Nota: al hacer doble clic en la captura de pantalla informativa, se muestra la imagen capturada y se resaltan en morado todos los elementos de IU identificados por la red neuronal y el motor OCR.

Nota: La selección de área también se puede utilizar para indicar solo una parte de la interfaz de usuario de la aplicación que desea automatizar. Esto es especialmente útil en situaciones en las que hay varios campos de texto que tienen la misma etiqueta y no se pueden identificar correctamente.

Una vez que una actividad del ámbito de la pantalla de CV se configura correctamente, puedes empezar a usar el resto de actividades del paquete para crear tu automatización.

Indicación en pantalla

Las actividades que realizan acciones en elementos de la interfaz de usuario se pueden configurar en tiempo de diseño usando el botón Indicar en pantalla presente en el cuerpo de las actividades. Las actividades que tienen esta característica son:

• Ámbito de pantalla de CV
• Seleccionar lista desplegable de CV
• Comprobar CV
• Tabla de extracción de CV
• Clic de CV
• Elemento CV existente
• Texto de obtención de CV
• Resaltado de CV
• Mantener el puntero en CV
• Tipo de CV en

Al hacer clic en el botón Indicar en pantalla (tecla de acceso rápido: I) se abre el asistente de ayuda.

Indicar

El campo Indicar especifica lo que estás indicando en este momento. Cuando se abre el ayudante por primera vez, se debe indicar el destino . Para cada destino posible, el asistente selecciona automáticamente un anclaje, si hay uno disponible.

Mostrar elementos

El botón Mostrar elementos (tecla de acceso rápido: s) del asistente resalta todos los elementos de IU que han sido identificados por el análisis de Computer Vision, lo que facilita la elección de con qué interactuar.

Actualización de pantalla

El botón Actualizar pantalla (tecla de acceso rápido: F5) se puede usar en el momento del diseño, en caso de que algo cambie en la aplicación de destino, lo que te permite enviar una nueva imagen al servidor de Computer Vision para volver a analizarla.

Actualización de pantalla retrasada

El botón Actualización de pantalla retrasada (tecla de acceso rápido: F2) realiza una actualización de la aplicación de destino después de esperar 3 segundos. También se captura la dirección de desplazamiento automático en tiempo de ejecución (propiedad ScrollDirection).

Relativo a

Las actividades que tienen el asistente Indicar también incluyen una característica Relativo a , donde el objetivo es un elemento estable y se arrastra una distancia relativa a él. El destino principal, el estable, actúa como destino proxy para el segundo destino, el relativo.

Esto es útil cuando quieres seleccionar un área que no se corresponde con los elementos de la IU que ha identificado el motor Computer Vision, o cuando quieres seleccionar un área general en la IU sin especificar un determinado elemento de la IU.

El destino relativo puede ser un único punto o una selección de área en la aplicación que estás automatizando.

La selección de un solo punto normalmente se coloca en un lugar donde la detección de Computer Vision no es precisa y puede que no encuentre ciertos elementos. Las actividades que utilizan la selección de un solo punto son Clic de CV, Mantener el puntero sobre CV y Escribir CV en.

La selección de área la utiliza Obtener texto de CV y se activa automáticamente para esta actividad.

Nota: Tanto un punto como un área utilizada como objetivo para Relativo a son escalables con la escala de resolución que haya elegido para su pantalla. Si la escala de la propia aplicación es variable, esta característica pierde su fiabilidad.

Como regla general, cualquier anclaje que añadas debe encontrarse en tiempo de ejecución, lo que significa que si no se encuentra al menos un anclaje, no se podrá encontrar toda la selección. Por lo tanto, los anclajes deben ser elementos estables que Computer Vision pueda detectar con certeza cada vez y que no cambien drásticamente en la interfaz de usuario en tiempo de ejecución.

Digamos que quieres hacer clic en el botón "X" de la imagen siguiente. Puedes observar que el destino está en el botón "X", pero el clic se produce en el círculo verde; esto se debe a que has elegido hacer clic en relación con el botón "X". Por lo tanto, a menos que Computer Vision no pueda detectar un determinado elemento de la IU, no es necesario utilizar la función Relativo a .

Para seleccionar el botón "X" y no un área relativa a él, asegúrate de que el botón "X" tenga un contorno verde.

Si el botón "X" no es estable, puedes hacer clic en relación con un elemento estable.

Indicación de tabla

Las actividades de Computer Vision también ofrecen soporte para indicar tablas. La orientación en tablas se puede realizar seleccionando la celda con la que desea interactuar, lo que solicita a la red neuronal que identifique automáticamente la columna y la fila que definen la posición de esa celda, mostrándolas en una cuadrícula.

De forma predeterminada, los nombres de la columna y la fila se utilizan en el descriptor para señalar la ubicación de la celda. Al hacer clic en los índices de columna y fila, se agregan automáticamente a tu descriptor. Esto puede ser útil en situaciones en las que se cambian los nombres de columnas y filas, pero se desea extraer la misma posición de una celda.

Después de indicar con éxito el destino, el asistente se cierra y la actividad se configura con el destino seleccionado.

Nota: Recuerde que siempre que decide enviar errores en el comportamiento de la red neuronal, está ayudando a que aprenda y, indirectamente, nos ayuda a ofrecerle un mejor producto. Envíe tantos problemas como pueda, ya que esto nos da la oportunidad de reconocerlos y solucionarlos.