Introducción

AI Computer Vision es un método basado en el aprendizaje automático que se utiliza para identificar visualmente todos los elementos de la interfaz de usuario en una pantalla de ordenador e interactuar con ellos a través de UiPath Robots, simulando la interacción humana. No requiere ni utiliza las propiedades subyacentes de las aplicaciones, sino solo el aspecto y la relación de varios elementos de la pantalla.

En lugar de depender de selectores, AI Computer Vision utiliza IA (detección de objetos, OCR, coincidencia de texto difusa, coincidencia de imágenes para iconos) y un sistema de anclaje para unirlo todo. Más exactamente, para localizar visualmente los elementos en la pantalla, AI Computer Vision realiza una detección de elementos (en el servidor de aprendizaje automático) y una detección de texto (OCR), y combina estos dos en una comprensión completa de la interfaz de usuario. La relación entre los elementos detectados con estos dos métodos se codifica en un descriptor de anclaje múltiple, que identifica de forma única el elemento de destino.

AI Computer Vision is composed of a set of activities, that are part of the UI Automation activity package, as well as a server (which can be cloud, on-premises, or local) hosting an AI model, which is needed to perform the actual analysis of the UI you're automating. By default, our UiPath cloud server is used and also recommended for all AI Computer Vision and UI Automation activities. You can use AI Computer Vision cloud regardless of your deployment type. For instance, it does not matter if you have Orchestrator on-premises or Orchestrator cloud, you can run Computer Vision cloud with no special configuration required.

También puedes alojar y gestionar tu propio servidor de AI Computer Vision y utilizarlo para ejecutar las actividades de AI Computer Vision. Cuando se utiliza este tipo de servidor, es necesario disponer de una infraestructura de hardware propia (GPU) o un entorno en la nube. Además, debes implementar, actualizar y mantener tu propio entorno localmente. En comparación con el servidor en la nube de UiPath, también es posible encontrarse con problemas de compatibilidad con versiones anteriores al actualizar el modelo de IA.

Local server is another flavour you can opt for. It runs on local CPU and it is the most portable version. However, it is slower and has a slightly lower detection accuracy.

Beneficios clave

Estas son algunas características de AI Computer Vision de las que puedes beneficiarte:

• Automation beyond selectors - Enable robots to recognize and interact with more on-screen fields and components - even Flash, Silverlight, PDFs, and images.
• Reliable on VDIs and desktops - Relieves issues with failure-prone image automation techniques and with selector-based targeting on desktops. Start by creating automations within Citrix, VWware or Microsoft’s Remote Desktop.
• Broad range of interface types - Includes VDI environments (Citrix, VMWare, Microsoft RDP, VNC, and others) for desktop and web applications. Save your time by getting UI elements identified and added to object repository for you.
• Intelligent, intuitive capabilities - Provides details, validation, and notifications about on-screen selections via an on-screen wizard. Uses the recorder to easily generate full vision-based automations.
• Run-time auto-scroll support - Easily automate scrollable content in webpages or apps using AI Computer Vision activities.
• Cross-platform capabilities - Automate for Windows, Linux, Android and other operating systems through remote desktops.
• Automation between VDI & non-VDI - Simplifies VDI-to-desktop automation by reducing necessary modifications.
• Multiple deployment options - Deploys via SaaS; available on-premises for Linux and Windows, or right from your desktop.
• Dynamic UI elements - Enables automations that include tables, drop-down lists, and checkbox elements. This increases the resilience of your automations, enabling them to adapt to small changes to the UI and interact with these dynamic elements.
• Available in UI Automation as part of Unified Target - Reduces the complexity of building UI-based automations when you need both selectors and AI Computer Vision descriptors.

Opciones de implementación

For a parallel comparison of our existing AI Computer Vision deployment options, check the AI Computer Vision differences section in the Overview guide.