Introduction

Vue d’ensemble d’AI Computer Vision et de son approche d’apprentissage automatique pour l’identification des éléments d’IU dans Automation Cloud.

AI Computer Vision est une méthode basée sur l'apprentissage automatique utilisée pour identifier visuellement tous les éléments d'IU sur un écran d'ordinateur et interagir avec eux via des Robots UiPath, en simulant une interaction humaine. Il ne nécessite pas ni n'utilise les propriétés sous-jacentes des applications, mais uniquement l'apparence et la relation des divers éléments de l'écran.

Plutôt que de s'appuyer sur des sélecteurs, AI Computer Vision utilise l'IA (détection d'objets, OCR, correspondance de texte approximative, correspondance d'images pour les icônes) et un système d'ancrage pour lier le tout.

Pour localiser visuellement les éléments à l'écran, AI Computer Vision effectue une détection d'élément (sur le serveur d'apprentissage automatique) et une détection de texte, et combine les deux pour obtenir une compréhension complète de l'interface utilisateur. La relation entre les éléments détectés avec ces deux méthodes est ensuite encodée dans un descripteur multi-ancres, qui identifie de manière unique l’élément ciblé.

AI Computer Vision comprend deux parties:

• Un ensemble d’activités qui font partie du package d’activités UIAutomation.
• A server hosting the AI model that performs the actual analysis of the UI you're automating. The server can be cloud, on-premises, or local.

Le tableau suivant décrit les trois types de serveurs et ce qu'il faut prendre en compte pour chacun d'eux.

Type de serveur	Mode de fonctionnement	Ce qu'il faut prendre en compte
Cloud (par défaut et recommandé)	Le serveur Cloud UiPath est utilisé par défaut pour toutes les activités AI Computer Vision et UI Automation.	Vous pouvez utiliser le Cloud AI Computer Vision quel que soit votre type de déploiement. Qu'Orchestrator soit sur site ou dans le cloud, le cloud Computer Vision s'exécute sans configuration spéciale requise.
On-Premises	Vous hébergez et gérez votre propre serveur AI Computer Vision et l'utilisez pour exécuter les activités AI Computer Vision.	You need your own hardware infrastructure (GPUs) or cloud environment, which you deploy, update, and maintain locally. Compared to the UiPath cloud server, you might also run into backwards compatibility issues when upgrading the AI model.
Local	Le serveur local s’exécute sur le processeur local et est la version la plus portable.	Il est plus lent et a une précision de détection légèrement inférieure.

Bénéfices

Voici quelques fonctionnalités d'AI Computer Vision dont vous pouvez bénéficier :

• L'automatisation au-delà des sélecteurs - Permet aux robots de reconnaître et d'interagir avec plus de champs et de composants à l'écran, même avec Flash, Silverlight, PDF et images.
• Fiable sur les VDI et les ordinateurs de bureau : résout les problèmes liés aux techniques d'automatisation d'image sujettes aux échecs et au ciblage basé sur un sélecteur sur les ordinateurs de bureau. Commencez par créer des automatisations dans Citrix, VMware ou le bureau à distance de Microsoft.
• Large gamme de types d’interfaces : comprend les environnements VDI (Citrix, VMWare, Microsoft RDP, VNC et autres) pour les applications de bureau et Web. Économisez votre temps en obtenant des éléments d'IU identifiés et ajoutés au référentiel d'objets pour vous.
• Fonctionnalités intelligentes intuitives : fournit des détails, une validation et des notifications sur les sélections à l'écran via un assistant à l'écran. Utilise l’enregistreur pour générer facilement des automatisations complètes basées sur la vision.
• Prise en charge du défilement automatique du runtime : automatisez facilement le contenu déroulant des pages Web ou des applications à l'aide des activités AI Computer Vision.
• Capacités multiplate-formes : automatisation pour Windows, Linux, Android et d'autres systèmes d'exploitation via des bureaux à distance.
• Automatisation entre VDI et non-VDI : simplifie l'automatisation entre VDI et bureau en réduisant les modifications nécessaires.
• Plusieurs options de déploiement : se déploie via SaaS; disponible sur site pour Linux et Windows, ou directement depuis votre bureau.
• Éléments d'interface utilisateur dynamiques - Active les automatisations qui incluent des tables, des listes déroulantes et des éléments de case à cocher. Cela augmente la résilience de vos automatisations, leur permettant de s’adapter aux petites modifications de l’interface utilisateur et d’interagir avec ces éléments dynamiques.
• Disponible dans UI Automation dans le cadre de Cible unifiée : réduit la complexité de la création d’automatisations basées sur l’interface utilisateur lorsque vous avez besoin de sélecteurs et de descripteurs AI Computer Vision.

Options de déploiement

Pour obtenir une comparaison parallèle de nos options de déploiement d'AI Computer Vision existantes, consultez la section Différences d'AI Computer Vision dans le guide de vue d'ensemble.