Actividades de Computer Vision

Esta sección incluye las actividades relacionadas con Computer Vision que se encuentran en el paquete UiPath.UIAutomation.Activities .

• Comprobar CV
• Clic de CV
• Seleccionar lista desplegable de CV
• Elemento CV existente
• Tabla de extracción de CV
• Texto de obtención de CV
• Resaltado de CV
• Mantener el puntero en CV
• Actualización de CV
• Ámbito de pantalla de CV
• Tipo de CV en

Nota:

The Computer Vision activities are not compatible with Windows 7.

Las actividades de Computer Vision contienen actividades fundamentales de automatización de IU refactorizadas como Hacer clic, Escribir en u Obtener texto. La principal diferencia entre las actividades de Computer Vision y sus homólogos clásicos es su uso de la red neuronal de Computer Vision desarrollada internamente por nuestro departamento de aprendizaje automático. La red neuronal puede identificar elementos de la interfaz de usuario como botones, campos de entrada de texto o casillas de verificación sin el uso de selectores.

Creadas principalmente para la automatización en entornos de escritorio virtual, como las máquinas Citrix, estas actividades evitan el problema de los selectores inexistentes o poco fiables, ya que envían imágenes de la ventana que se está automatizando a la red neuronal, donde se analizan y todos los elementos de la interfaz de usuario. se identifican y etiquetan según lo que son. Los anclajes inteligentes se utilizan para señalar la ubicación exacta del elemento de la IU con el que estás interactuando, lo que garantiza que la acción que pretendes realizar sea correcta.

Utilizar las actividades de Computer Vision

Todas las actividades de Computer Vision funcionan solo cuando están dentro de una actividad de ámbito de pantalla de CV , que establece la conexión real con el servidor de red neuronal, lo que te permite analizar la interfaz de usuario de las aplicaciones que deseas automatizar.

Cualquier flujo de trabajo que utilice las actividades de Computer Vision debe comenzar arrastrando una actividad Ámbito de pantalla CV al panel del diseñador.

Una vez hecho esto, el botón Indicar en pantalla en el cuerpo de la actividad de ámbito puede utilizarse para seleccionar el área de la pantalla en la que deseas trabajar.

Nota:

Double-clicking the informative screenshot displays the image that has been captured and highlights in purple all of the UI elements that have been identified by the neural network and OCR engine.

Nota:

Area selection can also be used to indicate only a portion of the UI of the application you want to automate. This is especially useful in situations where there are multiple text fields that have the same label and cannot be properly identified.

Once a CV Screen Scope activity is properly configured, you can start using all of the other activities in the pack to build your automation.

Indicar en pantalla

Las actividades que realizan acciones en elementos de la IU se pueden configurar en tiempo de diseño utilizando el botón Indicar en pantalla que se encuentra en la tarjeta de actividades. Las actividades que tienen esta característica son:

• Comprobar CV
• Clic de CV
• Seleccionar lista desplegable de CV
• Elemento CV existente
• Tabla de extracción de CV
• Texto de obtención de CV
• Resaltado de CV
• Mantener el puntero en CV
• Ámbito de pantalla de CV
• Tipo de CV en

Al hacer clic en el botón Indicar en la pantalla (tecla de acceso rápido: I), se abre el asistente.

Indicar

The Indicate field specifies what you are indicating at the moment. When the helper is opened for the first time, the Target needs to be indicated. For each possible target, the wizard automatically selects an anchor, if one is available.

Mostrar elementos

The Show Elements (hotkey: s) button in the wizard highlights all UI elements that have been identified by the Computer Vision analysis, making it easier for you to choose what to interact with.

Actualización de pantalla

El botón Actualizar pantalla (tecla de acceso rápido: F5) se puede utilizar en tiempo de diseño, en caso de que algo cambie en la aplicación de destino, lo que te permite enviar una nueva imagen al servidor de Computer Vision para que se analice de nuevo.

Actualización de pantalla retrasada

El botón Actualización de pantalla retrasada (tecla de acceso rápido: F2) realiza una actualización de la aplicación de destino después de esperar 3 segundos. La dirección de desplazamiento automático en tiempo de ejecución también se captura (propiedad ScrollDirection).

Relativo a

Las actividades que tienen el asistente Indicar también incluyen una característica Relativo a , donde el destino es un elemento estable y se arrastra una distancia relativa a él. El destino principal, el estable, actúa como destino proxy para el segundo destino, el relativo.

Esto es útil cuando quieres seleccionar un área que no se corresponde con los elementos de la IU que ha identificado el motor Computer Vision, o cuando quieres seleccionar un área general en la IU sin especificar un determinado elemento de la IU.

El destino relativo puede ser un único punto o una selección de área en la aplicación que estás automatizando.

La selección de punto único normalmente se coloca en un lugar donde la detección de Computer Vision no es precisa y puede que no encuentre ciertos elementos. Las actividades que utilizan la selección de un solo punto son Hacer clic en CV, Mantener el puntero en CV y Escribir CV en.

La selección de área la utiliza Obtener texto de CV y se activa automáticamente para esta actividad.

Nota:

Tanto un punto como un área utilizados como destino para Relativo a son escalables con la escala de resolución que hayas elegido para tu pantalla. Si la escala de la propia aplicación es variable, esta característica pierde su fiabilidad.

Como regla general, cualquier anclaje que añadas debe encontrarse en tiempo de ejecución, lo que significa que si no se encuentra al menos un anclaje, no se podrá encontrar toda la selección. Por lo tanto, los anclajes deben ser elementos estables que Computer Vision pueda detectar con certeza cada vez y que no cambien drásticamente en la interfaz de usuario en tiempo de ejecución.

Digamos que quieres hacer clic en el botón "X" de la imagen siguiente. Puedes observar que el destino está en el botón "X", pero el clic se produce en el círculo verde; esto se debe a que has elegido hacer clic en relación con el botón "X". Por lo tanto, a menos que Computer Vision no pueda detectar un determinado elemento de la IU, no es necesario utilizar la característica Relativo a .

Para seleccionar el botón "X" y no un área relativa a él, asegúrate de que el botón "X" tenga un contorno verde.

Si el botón "X" no es estable, puedes hacer clic en relación con un elemento estable.

Indicación de la tabla

Las actividades de Computer Vision también ofrecen soporte para indicar tablas. La orientación en tablas se puede realizar seleccionando la celda con la que desea interactuar, lo que solicita a la red neuronal que identifique automáticamente la columna y la fila que definen la posición de esa celda, mostrándolas en una cuadrícula.

De forma predeterminada, los nombres de la columna y la fila se utilizan en el descriptor para señalar la ubicación de la celda. Al hacer clic en los índices de columna y fila, se agregan automáticamente a tu descriptor. Esto puede ser útil en situaciones en las que se cambian los nombres de columnas y filas, pero se desea extraer la misma posición de una celda.

After successfully indicating the Target, the wizard closes and the activity is configured with the target you selected.

Nota:

Please remember that whenever you choose to submit errors in the behavior of the neural network, you are helping it learn and indirectly helping us give you a better product. Submit as many issues as you can, as this gives us the opportunity to acknowledge and fix them.