Introducción

Descripción general de AI Computer Vision y su enfoque de aprendizaje automático para la identificación de elementos de IU en Automation Cloud.

AI Computer Vision es un método basado en el aprendizaje automático que se utiliza para identificar visualmente todos los elementos de la interfaz de usuario en una pantalla de ordenador e interactuar con ellos a través de UiPath Robots, simulando la interacción humana. No requiere ni utiliza las propiedades subyacentes de las aplicaciones, sino solo el aspecto y la relación de varios elementos de la pantalla.

En lugar de depender de selectores, AI Computer Vision utiliza IA (detección de objetos, OCR, coincidencia de texto difusa, coincidencia de imágenes para iconos) y un sistema de anclaje para vincularlo todo.

Para localizar visualmente los elementos en la pantalla, AI Computer Vision realiza una detección de elementos (en el servidor de aprendizaje automático) y una detección de texto (OCR), y combina estas dos en una comprensión completa de la interfaz de usuario. La relación entre los elementos detectados con estos dos métodos se codifica en un descriptor de anclaje múltiple, que identifica de forma única el elemento objetivo.

AI Computer Vision tiene dos partes:

• Un conjunto de actividades, que forman parte del paquete de actividades de Automatización de IU.
• A server hosting the AI model that performs the actual analysis of the UI you're automating. The server can be cloud, on-premises, or local.

La siguiente tabla describe los tres tipos de servidores y lo que hay que tener en cuenta para cada uno.

Tipo de servidor	Cómo funciona	Qué considerar
Cloud (predeterminado y recomendado)	El servidor en la nube de UiPath se utiliza de forma predeterminada para todas las actividades de AI Computer Vision y UI Automation.	Puedes utilizar la nube de AI Computer Vision independientemente de tu tipo de implementación. Ya sea que Orchestrator esté en las instalaciones o en la nube, Computer Vision en la nube se ejecuta sin necesidad de ninguna configuración especial.
En las instalaciones	Alojas y gestionas tu propio servidor de AI Computer Vision y lo utilizas para ejecutar las actividades de AI Computer Vision.	You need your own hardware infrastructure (GPUs) or cloud environment, which you deploy, update, and maintain locally. Compared to the UiPath cloud server, you might also run into backwards compatibility issues when upgrading the AI model.
Local	El servidor local se ejecuta en la CPU local y es la versión más portátil.	Es más lento y tiene una precisión de detección ligeramente inferior.

Beneficios clave

Estas son algunas características de AI Computer Vision de las que puedes beneficiarte:

• Automatización más allá de los selectores : permite que los robots reconozcan e interactúen con más campos y componentes en pantalla, incluso Flash, Silverlight, PDF e imágenes.
• Fiable en VDI y escritorios : alivia los problemas con técnicas de automatización de imágenes propensas a fallos y con la orientación basada en selectores en escritorios. Empieza por crear automatizaciones dentro de Citrix, VMware o el escritorio remoto de Microsoft.
• Amplia gama de tipos de interfaz : incluye entornos VDI (Citrix, VMWare, Microsoft RDP, VNC y otros) para aplicaciones de escritorio y web. Ahorre tiempo haciendo que los elementos de la IU se identifiquen y se añadan al repositorio de objetos por usted.
• Capacidades inteligentes e intuitivas : proporciona detalles, validación y notificaciones sobre las selecciones en pantalla a través de un asistente en pantalla. Utiliza la grabadora para generar fácilmente automatizaciones completas basadas en Vision.
• Compatibilidad con desplazamiento automático en tiempo de ejecución : automatiza fácilmente el contenido desplazable en páginas web o aplicaciones utilizando actividades de AI Computer Vision.
• Capacidades multiplataforma : automatiza para Windows, Linux, Android y otros sistemas operativos a través de escritorios remotos.
• Automatización entre VDI y no VDI : simplifica la automatización de VDI a escritorio reduciendo las modificaciones necesarias.
• Múltiples opciones de implementación : implementaciones a través de SaaS; disponible localmente para Linux y Windows, o directamente desde tu escritorio.
• Elementos de IU dinámicos : habilita automatizaciones que incluyen tablas, listas desplegables y elementos de casilla de verificación. Esto aumenta la resiliencia de tus automatizaciones, lo que les permite adaptarse a pequeños cambios en la interfaz de usuario e interactuar con estos elementos dinámicos.
• Disponible en Automatización de IU como parte de Destino unificado : reduce la complejidad de crear automatizaciones basadas en IU cuando se necesitan tanto selectores como descriptores de AI Computer Vision.

Opciones de implementación

Para obtener una comparación paralela de nuestras opciones de implementación de AI Computer Vision existentes, consulta la sección Diferencias de AI Computer Vision en la guía de información general.