Actividades de Computer Vision

Esta sección incluye las actividades relacionadas con Computer Vision que se encuentran en el paquete UiPath.UIAutomation.Activities.

• Comprobar CV
• Clic de CV
• Seleccionar lista desplegable de CV
• Elemento CV existente
• Tabla de extracción de CV
• Texto de obtención de CV
• Resaltado de CV
• Mantener el puntero en CV
• Actualización de CV
• Ámbito de pantalla de CV
• Tipo de CV en

Nota: Las actividades de Computer Vision no son compatibles con Windows 7.

Las actividades de Computer Vision contienen actividades de automatización de la interfaz de usuario fundamentales refactorizadas, como Hacer clic, Escribir enu Obtener texto. La principal diferencia entre las actividades de Computer Vision y sus contrapartes clásicas es el uso de la red neural Computer Vision desarrollada internamente por nuestro departamento de aprendizaje automático. La red neuronal es capaz de identificar elementos de IU como botones, campos de entrada de texto o casillas de verificación sin usar selectores.

Creadas principalmente para la automatización en entornos de escritorio virtual, como las máquinas Citrix, estas actividades evitan el problema de los selectores inexistentes o poco fiables, ya que envían imágenes de la ventana que se está automatizando a la red neuronal, donde se analizan y todos los elementos de la interfaz de usuario. se identifican y etiquetan según lo que son. Los anclajes inteligentes se utilizan para señalar la ubicación exacta del elemento de la IU con el que estás interactuando, lo que garantiza que la acción que pretendes realizar sea correcta.

Utilizar las actividades de Computer Vision

Todas las actividades de Computer Vision funcionan solo cuando están dentro de una actividad del Ámbito de pantalla de CV , que establece la conexión real con el servidor de la red neuronal, lo que le permite analizar la interfaz de usuario de las aplicaciones que desea automatizar.

Cualquier flujo de trabajo que utilice actividades de Computer Vision debe comenzar arrastrando una actividad de Ámbito de pantalla de CV al panel del diseñador.

Una vez hecho esto, el botón Indicar en pantalla situado en el cuerpo de la actividad de ámbito se puede utilizar para seleccionar el área de la pantalla en la que se quiere trabajar.

Nota: al hacer doble clic en la captura de pantalla informativa, se muestra la imagen capturada y se resaltan en morado todos los elementos de IU identificados por la red neuronal y el motor OCR.

Nota: La selección de área también se puede utilizar para indicar solo una parte de la interfaz de usuario de la aplicación que desea automatizar. Esto es especialmente útil en situaciones en las que hay varios campos de texto que tienen la misma etiqueta y no se pueden identificar correctamente.

Una vez que una actividad del ámbito de la pantalla de CV se configura correctamente, puedes empezar a usar el resto de actividades del paquete para crear tu automatización.

Indicar en pantalla

Las actividades que realizan acciones en elementos de la IU se pueden configurar en tiempo de diseño utilizando el botón Indicar en pantalla que se encuentra en la tarjeta de actividades. Las actividades que tienen esta característica son:

• Comprobar CV
• Clic de CV
• Seleccionar lista desplegable de CV
• Elemento CV existente
• Tabla de extracción de CV
• Texto de obtención de CV
• Resaltado de CV
• Mantener el puntero en CV
• Ámbito de pantalla de CV
• Tipo de CV en

Al hacer clic en el botón Indicar en la pantalla (tecla de acceso rápido: I), se abre el asistente.

Indicar

El campo Indicar especifica lo que estás indicando en este momento. Cuando se abre el ayudante por primera vez, se debe indicar el destino . Para cada destino posible, el asistente selecciona automáticamente un anclaje, si hay uno disponible.

Mostrar elementos

El botón Mostrar elementos (tecla de acceso rápido: s) del asistente resalta todos los elementos de IU que han sido identificados por el análisis de Computer Vision, lo que facilita la elección de con qué interactuar.

Actualización de pantalla

El botón Actualizar pantalla (tecla de acceso rápido: F5) se puede usar en el momento del diseño, en caso de que algo cambie en la aplicación de destino, lo que te permite enviar una nueva imagen al servidor de Computer Vision para volver a analizarla.

Actualización de pantalla retrasada

El botón Actualización de pantalla retrasada (tecla de acceso rápido: F2) realiza una actualización de la aplicación de destino después de esperar 3 segundos. También se captura la dirección de desplazamiento automático en tiempo de ejecución (propiedad ScrollDirection).

Relativo a

Las actividades que tienen el asistente Indicar también incluyen una característica Relativo a , donde el objetivo es un elemento estable y se arrastra una distancia relativa a él. El destino principal, el estable, actúa como destino proxy para el segundo destino, el relativo.

Esto es útil cuando quieres seleccionar un área que no se corresponde con los elementos de la IU que ha identificado el motor Computer Vision, o cuando quieres seleccionar un área general en la IU sin especificar un determinado elemento de la IU.

El destino relativo puede ser un único punto o una selección de área en la aplicación que estás automatizando.

La selección de un solo punto normalmente se coloca en un lugar donde la detección de Computer Vision no es precisa y puede que no encuentre ciertos elementos. Las actividades que utilizan la selección de un solo punto son Clic de CV, Mantener el puntero sobre CV y Escribir CV en.

La selección de área la utiliza Obtener texto de CV y se activa automáticamente para esta actividad.

Nota: Tanto un punto como un área utilizada como objetivo para Relativo a son escalables con la escala de resolución que haya elegido para su pantalla. Si la escala de la propia aplicación es variable, esta característica pierde su fiabilidad.

Como regla general, cualquier anclaje que añadas debe encontrarse en tiempo de ejecución, lo que significa que si no se encuentra al menos un anclaje, no se podrá encontrar toda la selección. Por lo tanto, los anclajes deben ser elementos estables que Computer Vision pueda detectar con certeza cada vez y que no cambien drásticamente en la interfaz de usuario en tiempo de ejecución.

Digamos que quieres hacer clic en el botón "X" de la imagen siguiente. Puedes observar que el destino está en el botón "X", pero el clic se produce en el círculo verde; esto se debe a que has elegido hacer clic en relación con el botón "X". Por lo tanto, a menos que Computer Vision no pueda detectar un determinado elemento de la IU, no es necesario utilizar la función Relativo a .

Para seleccionar el botón "X" y no un área relativa a él, asegúrate de que el botón "X" tenga un contorno verde.

Si el botón "X" no es estable, puedes hacer clic en relación con un elemento estable.

Indicación de la tabla

Las actividades de Computer Vision también ofrecen soporte para indicar tablas. La orientación en tablas se puede realizar seleccionando la celda con la que desea interactuar, lo que solicita a la red neuronal que identifique automáticamente la columna y la fila que definen la posición de esa celda, mostrándolas en una cuadrícula.

De forma predeterminada, los nombres de la columna y la fila se utilizan en el descriptor para señalar la ubicación de la celda. Al hacer clic en los índices de columna y fila, se agregan automáticamente a tu descriptor. Esto puede ser útil en situaciones en las que se cambian los nombres de columnas y filas, pero se desea extraer la misma posición de una celda.

Después de indicar con éxito el destino, el asistente se cierra y la actividad se configura con el destino seleccionado.

Nota: Recuerde que siempre que decide enviar errores en el comportamiento de la red neuronal, está ayudando a que aprenda y, indirectamente, nos ayuda a ofrecerle un mejor producto. Envíe tantos problemas como pueda, ya que esto nos da la oportunidad de reconocerlos y solucionarlos.