Introducción

AI Computer Vision es un método basado en el aprendizaje automático que se utiliza para identificar visualmente todos los elementos de la interfaz de usuario en una pantalla de ordenador e interactuar con ellos a través de UiPath Robots, simulando la interacción humana. No requiere ni utiliza las propiedades subyacentes de las aplicaciones, sino solo el aspecto y la relación de varios elementos de la pantalla.

En lugar de depender de selectores, AI Computer Vision utiliza IA (detección de objetos, OCR, coincidencia de texto difusa, coincidencia de imágenes para iconos) y un sistema de anclaje para unirlo todo. Más exactamente, para localizar visualmente los elementos en la pantalla, AI Computer Vision realiza una detección de elementos (en el servidor de aprendizaje automático) y una detección de texto (OCR), y combina estos dos en una comprensión completa de la interfaz de usuario. La relación entre los elementos detectados con estos dos métodos se codifica en un descriptor de anclaje múltiple, que identifica de forma única el elemento de destino.

AI Computer Vision se compone de un conjunto de actividades, que forman parte del paquete de actividades Automatización de IU, así como de un servidor (que puede ser en la nube, local o local) que aloja un modelo de IA, que es necesario para realizar la análisis real de la IU que estás automatizando. De forma predeterminada, nuestro servidor en la nube de UiPath se utiliza y también se recomienda para todas las actividades de AI Computer Vision y UI Automation. Puedes utilizar la nube de AI Computer Vision independientemente de tu tipo de implementación. Por ejemplo, no importa si tienes Orchestrator en las instalaciones o en la nube de Orchestrator, puedes ejecutar Computer Vision en la nube sin necesidad de una configuración especial.

Como alternativa, puedes alojar y gestionar tu propio servidor de AI Computer Vision local y utilizarlo para ejecutar las actividades de AI Computer Vision. Al utilizar este tipo de servidor, debes tener tu propia infraestructura de hardware (GPU) o entorno en la nube. Además, debes implementar, actualizar y mantener tu propio entorno localmente. En comparación con el servidor en la nube de UiPath, también puedes encontrarte con problemas de compatibilidad con versiones anteriores al actualizar el modelo de IA. Para obtener más información sobre cómo evitar este tipo de problemas, consulta Resistencia de actualización del modelo.

El servidor local es otra versión por la que puedes optar. Se ejecuta en la CPU local y es la versión más portátil. Sin embargo, es más lento y tiene una precisión de detección ligeramente inferior.

Beneficios clave

Estas son algunas características de AI Computer Vision de las que puedes beneficiarte:

• Automatización más allá de los selectores : permite que los robots reconozcan e interactúen con más campos y componentes en pantalla, incluso Flash, Silverlight, PDF e imágenes.
• Fiable en VDI y escritorios : alivia los problemas con las técnicas de automatización de imágenes propensas a fallos y con la orientación basada en selectores en los escritorios. Empiece por crear automatizaciones dentro de Citrix, VWware o el Escritorio remoto de Microsoft.
• Amplia gama de tipos de interfaz : incluye entornos VDI (Citrix, VMWare, Microsoft RDP, VNC y otros) para aplicaciones de escritorio y web. Ahorre tiempo identificando los elementos de la IU y agregándolos al repositorio de objetos por usted.
• Capacidades inteligentes e intuitivas : proporciona detalles, validación y notificaciones sobre las selecciones en pantalla a través de un asistente en pantalla. Utiliza la grabadora para generar fácilmente automatizaciones completas basadas en visión.
• Compatibilidad con desplazamiento automático en tiempo de ejecución : automatice fácilmente el contenido desplazable en páginas web o aplicaciones utilizando actividades de IA Computer Vision.
• Capacidades multiplataforma : automatización para Windows, Linux, Android y otros sistemas operativos a través de escritorios remotos.
• Automatización entre VDI y no VDI : simplifica la automatización de VDI a escritorio al reducir las modificaciones necesarias.
• Múltiples opciones de implementación : se implementa a través de SaaS; disponible en las instalaciones para Linux y Windows, o directamente desde tu escritorio.
• Elementos de IU dinámicos : habilita automatizaciones que incluyen tablas, listas desplegables y elementos de casilla de verificación. Esto aumenta la resistencia de tus automatizaciones, permitiéndoles adaptarse a pequeños cambios en la interfaz de usuario e interactuar con estos elementos dinámicos.
• Disponible en Automatización de IU como parte de Destino unificado : reduce la complejidad de crear automatizaciones basadas en IU cuando se necesitan tanto selectores como descriptores de IA Computer Vision.

Opciones de implementación

Para ver una comparación paralela de nuestras opciones de implementación existentes de AI Computer Vision, consulta la sección Diferencias de AI Computer Vision en la guía Visión general.