Introduction

AI Computer Vision est une méthode basée sur l'apprentissage automatique utilisée pour identifier visuellement tous les éléments d'IU sur un écran d'ordinateur et interagir avec eux via des Robots UiPath, en simulant une interaction humaine. Il ne nécessite pas ni n'utilise les propriétés sous-jacentes des applications, mais uniquement l'apparence et la relation des divers éléments de l'écran.

Plutôt que de s'appuyer sur des sélecteurs, AI Computer Vision utilise l'IA (détection d'objets, OCR, correspondance de texte approximatif, correspondance d'images pour les icônes) et un système d'ancrage pour lier le tout. Plus exactement, pour localiser visuellement les éléments à l'écran, AI Computer Vision effectue une détection d'éléments (sur le serveur d'apprentissage automatique) et une détection de texte (OCR), puis combine ces deux éléments pour obtenir une compréhension complète de l'interface utilisateur. La relation entre les éléments détectés à l'aide de ces deux méthodes est ensuite encodée dans un descripteur multi-ancres, qui identifie de manière unique l'élément ciblé.

AI Computer Vision se compose d'un ensemble d'activités qui font partie du package d'activités UI Automation, ainsi que d'un serveur (qui peut être dans le cloud ou local) hébergeant un modèle d'IA nécessaire pour effectuer l'analyse réelle de l'interface utilisateur que vous automatisez. Par défaut, notre serveur Cloud UiPath est utilisé et également recommandé pour toutes les activités Computer Vision et UI Automation. Vous pouvez utiliser le Cloud Computer Vision quel que soit votre type de déploiement. Par exemple, que vous disposiez d'une version locale d'Orchestrator ou d'un Cloud Orchestrator, vous pouvez exécuter le Cloud Computer Vision sans configuration spéciale requise.

Vous pouvez également héberger et gérer votre propre serveur AI Computer Vision local et l'utiliser pour exécuter les activités AI Computer Vision. Lorsque vous utilisez ce type de serveur, vous devez disposer de votre propre infrastructure matérielle (GPU) ou environnement cloud. En outre, vous devez déployer, mettre à jour et gérer votre propre environnement localement. Par rapport au serveur cloud UiPath, vous pouvez également rencontrer des problèmes de rétrocompatibilité lors de la mise à niveau du modèle d'IA. Pour plus de détails sur la façon d'éviter ce type de problèmes, consultez Résilience de mise à jour du modèle ( Model update résilience).

Le serveur local est une autre version que vous pouvez choisir. Il s'exécute sur le processeur local et il s'agit de la version la plus portable. Cependant, il est plus lent et a une précision de détection légèrement inférieure.

Bénéfices

Voici quelques fonctionnalités d'AI Computer Vision dont vous pouvez bénéficier :

Automatisation au-delà des sélecteurs - Permet aux robots de reconnaître et d'interagir avec davantage de champs et de composants à l'écran (y compris Flash, Silverlight, PDF et images).
Fiable sur les VDI et les postes de travail - Résout les problèmes avec les techniques d'automatisation d'image sujettes à défaillance et avec le ciblage basé sur le sélecteur sur les postes de travail. Commencez par créer des automatisations dans Citrix, VMware ou le bureau à distance de Microsoft.
Une large gamme de types d'interfaces - Inclut les environnements VDI (Citrix, VMWare, Microsoft RDP, VNC et autres) pour les applications de bureau et Web. Gagnez du temps en identifiant les éléments d'IU et en les ajoutant au référentiel d'objets pour vous.
Capacités intelligentes et intuitives : fournit des détails, une validation et des notifications sur les sélections à l'écran via un assistant à l'écran. Utilise l'enregistreur pour générer facilement des automatisations complètes basées sur Vision.
Prise en charge du runtime de défilement automatique : automatisez facilement le contenu déroulant dans les pages Web ou les applications à l'aide des activités Computer Vision.
Fonctionnalités multiplate-forme - Automatisez pour Windows, Linux, Android et d'autres systèmes d'exploitation via des bureaux à distance.
Automatisation entre VDI et non-VDI - Simplifie l'automatisation de VDI vers poste de travail en réduisant les modifications nécessaires.
Plusieurs options de déploiement - Déploiements via SaaS ; disponible en local pour Linux et Windows, ou directement depuis votre bureau.
Éléments d'IU dynamiques : permet les automatisations qui incluent des tableaux, des listes déroulantes et des éléments de case à cocher. Cela augmente la résilience de vos automatisations, leur permettant de s'adapter aux petites modifications de l'interface utilisateur et d'interagir avec ces éléments dynamiques.
Disponible dans UI Automation dans le cadre de Cible unifiée - Réduit la complexité de la création d'automatisations basées sur l'interface utilisateur lorsque vous avez besoin à la fois de sélecteurs et de descripteurs Computer Vision.

Options de déploiement

Dans le tableau ci-dessous, vous pouvez trouver une comparaison côte à côte de nos options de déploiement actuelles de Computer Vision.

	Serveur UiPath Cloud	Serveur sur site	Serveur local	Commentaires
Tests de régression du modèle				Chaque nouveau modèle détecte toujours toutes les données de phase de conception que son itération précédente détectait afin que l'automatisation en cours d'exécution ne s'interrompe pas.
Simulation de stockage de données au moment de la conception				Le modèle apprend les formes et les couleurs des éléments de l'interface utilisateur, il est donc recommandé d'utiliser des données simulées sans informations sensibles.
Stockage des données de runtime				Les données de production du runtime (qui pourraient contenir des informations sensibles) ne sont jamais utilisées ou stockées ; elles ne sont utilisées que comme entrée pour le modèle d’IA.
Serveur sans tracas et sans coûts				S/O
Vitesse	Haut (GPU)	Haut (GPU)	Légèrement plus faible (CPU)	Le serveur local est une version compressée du modèle cloud (sans neurones) qui pourrait bien s'adapter à des scénarios légers avec des éléments d'IU plus génériques.
Précision de la vision	Haute	Haute	Légèrement inférieur	Le serveur local est une version compressée du modèle cloud (sans neurones) qui pourrait bien s'adapter à des scénarios légers avec des éléments d'IU plus génériques.
Gratuit avec une licence Enterprise				S/O
Utilisation	Communauté : 30 MP/min Entreprise : 240 MP/min	Illimité	Illimité	La limite d’utilisation du serveur cloud UiPath est conçue pour permettre une très grande marge. Il est très difficile d'atteindre cette limite, même dans les scénarios d'utilisation les plus intenses.