Introduction

AI Computer Vision est une méthode basée sur l'apprentissage automatique utilisée pour identifier visuellement tous les éléments d'IU sur un écran d'ordinateur et interagir avec eux via des Robots UiPath, en simulant une interaction humaine. Il ne nécessite pas ni n'utilise les propriétés sous-jacentes des applications, mais uniquement l'apparence et la relation des divers éléments de l'écran.

Plutôt que de s'appuyer sur des sélecteurs, AI Computer Vision utilise l'IA (détection d'objets, OCR, correspondance de texte approximatif, correspondance d'images pour les icônes) et un système d'ancrage pour lier le tout. Plus exactement, pour localiser visuellement les éléments à l'écran, AI Computer Vision effectue une détection d'éléments (sur le serveur d'apprentissage automatique) et une détection de texte (OCR), puis combine ces deux éléments pour obtenir une compréhension complète de l'interface utilisateur. La relation entre les éléments détectés à l'aide de ces deux méthodes est ensuite encodée dans un descripteur multi-ancres, qui identifie de manière unique l'élément ciblé.

AI Computer Vision est composé d'un ensemble d'activités qui font partie du module d'activités UIAutomation, ainsi que d'un serveur (qui peut être cloud, local ou local) hébergeant un modèle d'IA, qui est nécessaire pour effectuer les analyse réelle de l'interface utilisateur que vous automatisez. Par défaut, notre serveur cloud UiPath est utilisé et également recommandé pour toutes les activités AI Computer Vision et UI Automation. Vous pouvez utiliser le cloud AI Computer Vision, quel que soit votre type de déploiement. Par exemple, peu importe si vous avez Orchestrator local ou Orchestrator Cloud, vous pouvez exécuter le cloud Computer Vision sans configuration spéciale requise.

Vous pouvez également héberger et gérer votre propre serveur AI Computer Vision local et l'utiliser pour exécuter les activités AI Computer Vision. Lorsque vous utilisez ce type de serveur, vous devez disposer de votre propre infrastructure matérielle (GPU) ou environnement cloud. En outre, vous devez déployer, mettre à jour et gérer votre propre environnement localement. Par rapport au serveur cloud UiPath, vous pouvez également rencontrer des problèmes de rétrocompatibilité lors de la mise à niveau du modèle d'IA. Pour plus de détails sur la façon d'éviter ce type de problèmes, consultez Résilience de mise à jour du modèle ( Model update résilience).

Le serveur local est une autre version que vous pouvez choisir. Il s'exécute sur le processeur local et il s'agit de la version la plus portable. Cependant, il est plus lent et a une précision de détection légèrement inférieure.

Bénéfices

Voici quelques fonctionnalités d'AI Computer Vision dont vous pouvez bénéficier :

• Automatisation au-delà des sélecteurs - Permet aux robots de reconnaître et d'interagir avec davantage de champs et de composants à l'écran (y compris Flash, Silverlight, PDF et images).
• Fiable sur les VDI et les postes de travail - Résout les problèmes avec les techniques d'automatisation d'image sujettes à défaillance et avec le ciblage basé sur le sélecteur sur les postes de travail. Commencez par créer des automatisations dans Citrix, VMware ou le bureau à distance de Microsoft.
• Une large gamme de types d'interfaces - Inclut les environnements VDI (Citrix, VMWare, Microsoft RDP, VNC et autres) pour les applications de bureau et Web. Gagnez du temps en identifiant les éléments d'IU et en les ajoutant au référentiel d'objets pour vous.
• Capacités intelligentes et intuitives : fournit des détails, une validation et des notifications sur les sélections à l'écran via un assistant à l'écran. Utilise l'enregistreur pour générer facilement des automatisations complètes basées sur Vision.
• Prise en charge du runtime de défilement automatique - Automatisez facilement le contenu déroulant dans les pages Web ou les applications à l'aide des activités AI Computer Vision.
• Fonctionnalités multiplate-forme - Automatisez pour Windows, Linux, Android et d'autres systèmes d'exploitation via des bureaux à distance.
• Automatisation entre VDI et non-VDI - Simplifie l'automatisation de VDI vers poste de travail en réduisant les modifications nécessaires.
• Plusieurs options de déploiement - Déploiements via SaaS ; disponible en local pour Linux et Windows, ou directement depuis votre bureau.
• Éléments d'IU dynamiques : permet les automatisations qui incluent des tableaux, des listes déroulantes et des éléments de case à cocher. Cela augmente la résilience de vos automatisations, leur permettant de s'adapter aux petites modifications de l'interface utilisateur et d'interagir avec ces éléments dynamiques.
• Disponible dans UI Automation dans le cadre de Cible unifiée - Réduit la complexité de la création d'automatisations basées sur l'interface utilisateur lorsque vous avez besoin à la fois de sélecteurs et de descripteurs AI Computer Vision.

Options de déploiement

Pour une comparaison parallèle de nos options de déploiement AI Computer Vision existantes, consultez la section Différences AI Computer Vision du guide Vue d'ensemble.