Introduction

AI Computer Vision est une méthode basée sur l'apprentissage automatique utilisée pour identifier visuellement tous les éléments d'IU sur un écran d'ordinateur et interagir avec eux via des Robots UiPath, en simulant une interaction humaine. Il ne nécessite pas ni n'utilise les propriétés sous-jacentes des applications, mais uniquement l'apparence et la relation des divers éléments de l'écran.

Plutôt que de s'appuyer sur des sélecteurs, AI Computer Vision utilise l'IA (détection d'objets, OCR, correspondance de texte approximatif, correspondance d'images pour les icônes) et un système d'ancrage pour lier le tout. Plus exactement, pour localiser visuellement les éléments à l'écran, AI Computer Vision effectue une détection d'éléments (sur le serveur d'apprentissage automatique) et une détection de texte (OCR), puis combine ces deux éléments pour obtenir une compréhension complète de l'interface utilisateur. La relation entre les éléments détectés à l'aide de ces deux méthodes est ensuite encodée dans un descripteur multi-ancres, qui identifie de manière unique l'élément ciblé.

AI Computer Vision is composed of a set of activities, that are part of the UI Automation activity package, as well as a server (which can be cloud, on-premises, or local) hosting an AI model, which is needed to perform the actual analysis of the UI you're automating. By default, our UiPath cloud server is used and also recommended for all AI Computer Vision and UI Automation activities. You can use AI Computer Vision cloud regardless of your deployment type. For instance, it does not matter if you have Orchestrator on-premises or Orchestrator cloud, you can run Computer Vision cloud with no special configuration required.

Vous pouvez également héberger et gérer votre propre serveur local AI Computer Vision et l'utiliser pour exécuter les activités AI Computer Vision. Lorsque vous utilisez ce type de serveur, vous devez disposer de votre propre infrastructure matérielle (GPU) ou environnement Cloud. En outre, vous devez déployer, mettre à jour et gérer votre propre environnement localement. Par rapport au serveur Cloud UiPath, vous pouvez également rencontrer des problèmes de rétrocompatibilité lors de la mise à niveau du modèle d'IA.

Local server is another flavour you can opt for. It runs on local CPU and it is the most portable version. However, it is slower and has a slightly lower detection accuracy.

Bénéfices

Voici quelques fonctionnalités d'AI Computer Vision dont vous pouvez bénéficier :

• Automation beyond selectors - Enable robots to recognize and interact with more on-screen fields and components - even Flash, Silverlight, PDFs, and images.
• Reliable on VDIs and desktops - Relieves issues with failure-prone image automation techniques and with selector-based targeting on desktops. Start by creating automations within Citrix, VWware or Microsoft’s Remote Desktop.
• Broad range of interface types - Includes VDI environments (Citrix, VMWare, Microsoft RDP, VNC, and others) for desktop and web applications. Save your time by getting UI elements identified and added to object repository for you.
• Intelligent, intuitive capabilities - Provides details, validation, and notifications about on-screen selections via an on-screen wizard. Uses the recorder to easily generate full vision-based automations.
• Run-time auto-scroll support - Easily automate scrollable content in webpages or apps using AI Computer Vision activities.
• Cross-platform capabilities - Automate for Windows, Linux, Android and other operating systems through remote desktops.
• Automation between VDI & non-VDI - Simplifies VDI-to-desktop automation by reducing necessary modifications.
• Multiple deployment options - Deploys via SaaS; available on-premises for Linux and Windows, or right from your desktop.
• Dynamic UI elements - Enables automations that include tables, drop-down lists, and checkbox elements. This increases the resilience of your automations, enabling them to adapt to small changes to the UI and interact with these dynamic elements.
• Available in UI Automation as part of Unified Target - Reduces the complexity of building UI-based automations when you need both selectors and AI Computer Vision descriptors.

Options de déploiement

For a parallel comparison of our existing AI Computer Vision deployment options, check the AI Computer Vision differences section in the Overview guide.