Introducción

Descripción general de AI Computer Vision y su enfoque de aprendizaje automático para la identificación de elementos de IU en Automation Suite.

AI Computer Vision es un método basado en el aprendizaje automático que se utiliza para identificar visualmente todos los elementos de la interfaz de usuario en una pantalla de ordenador e interactuar con ellos a través de UiPath Robots, simulando la interacción humana. No requiere ni utiliza las propiedades subyacentes de las aplicaciones, sino solo el aspecto y la relación de varios elementos de la pantalla.

Rather than relying on selectors, AI Computer Vision uses AI (Object Detection, OCR, fuzzy text-matching, image-matching for icons) and an anchoring system to tie it all together.

To visually locate elements on the screen, AI Computer Vision performs an element detection (on the machine-learning server) and a text (OCR) detection, and combines these two into a full understanding of the UI. The relationship between elements detected with these two methods is then encoded into a multi-anchor descriptor, which uniquely identifies the targeted element.

AI Computer Vision has two parts:

• A set of activities, which are part of the UI Automation activity package.
• A server hosting the AI model that performs the actual analysis of the UI you're automating. The server can be cloud, on-premises, or local.

The following table describes the three server types and what to consider for each one.

Tipo de servidor	Cómo funciona	What to consider
Cloud (default and recommended)	The UiPath cloud server is used by default for all AI Computer Vision and UI Automation activities.	You can use AI Computer Vision cloud regardless of your deployment type. Whether Orchestrator is on-premises or in the cloud, Computer Vision cloud runs with no special configuration required.
En las instalaciones	You host and manage your own AI Computer Vision server, and use it to run the AI Computer Vision activities.	You need your own hardware infrastructure (GPUs) or cloud environment, which you deploy, update, and maintain locally. Compared to the UiPath cloud server, you might also run into backwards compatibility issues when upgrading the AI model — see Model update resilience to avoid them
Local	The local server runs on local CPU and is the most portable version.	It is slower and has a slightly lower detection accuracy.

Beneficios clave

Estas son algunas características de AI Computer Vision de las que puedes beneficiarte:

• Automatización más allá de los selectores : permite que los robots reconozcan e interactúen con más campos y componentes en pantalla, incluso Flash, Silverlight, PDF e imágenes.
• Fiable en VDI y escritorios : alivia los problemas con técnicas de automatización de imágenes propensas a fallos y con la orientación basada en selectores en escritorios. Empieza por crear automatizaciones dentro de Citrix, VMware o el escritorio remoto de Microsoft.
• Amplia gama de tipos de interfaz : incluye entornos VDI (Citrix, VMWare, Microsoft RDP, VNC y otros) para aplicaciones de escritorio y web. Ahorre tiempo haciendo que los elementos de la IU se identifiquen y se añadan al repositorio de objetos por usted.
• Capacidades inteligentes e intuitivas : proporciona detalles, validación y notificaciones sobre las selecciones en pantalla a través de un asistente en pantalla. Utiliza la grabadora para generar fácilmente automatizaciones completas basadas en Vision.
• Compatibilidad con desplazamiento automático en tiempo de ejecución : automatiza fácilmente el contenido desplazable en páginas web o aplicaciones utilizando actividades de AI Computer Vision.
• Capacidades multiplataforma : automatiza para Windows, Linux, Android y otros sistemas operativos a través de escritorios remotos.
• Automatización entre VDI y no VDI : simplifica la automatización de VDI a escritorio reduciendo las modificaciones necesarias.
• Múltiples opciones de implementación : implementaciones a través de SaaS; disponible localmente para Linux y Windows, o directamente desde tu escritorio.
• Elementos de IU dinámicos : habilita automatizaciones que incluyen tablas, listas desplegables y elementos de casilla de verificación. Esto aumenta la resiliencia de tus automatizaciones, lo que les permite adaptarse a pequeños cambios en la interfaz de usuario e interactuar con estos elementos dinámicos.
• Disponible en Automatización de IU como parte de Destino unificado : reduce la complejidad de crear automatizaciones basadas en IU cuando se necesitan tanto selectores como descriptores de AI Computer Vision.

Opciones de implementación

Para obtener una comparación paralela de nuestras opciones de implementación de AI Computer Vision existentes, consulta la sección Diferencias de AI Computer Vision en la guía de información general.