Introduction

AI Computer Vision est une méthode basée sur l'apprentissage automatique utilisée pour identifier visuellement tous les éléments d'IU sur un écran d'ordinateur et interagir avec eux via des Robots UiPath, en simulant une interaction humaine. Il ne nécessite pas ni n'utilise les propriétés sous-jacentes des applications, mais uniquement l'apparence et la relation des divers éléments de l'écran.

Plutôt que de s'appuyer sur des sélecteurs, AI Computer Vision utilise l'IA (détection d'objets, OCR, correspondance de texte approximatif, correspondance d'images pour les icônes) et un système d'ancrage pour lier le tout. Plus exactement, pour localiser visuellement les éléments à l'écran, AI Computer Vision effectue une détection d'éléments (sur le serveur d'apprentissage automatique) et une détection de texte (OCR), puis combine ces deux éléments pour obtenir une compréhension complète de l'interface utilisateur. La relation entre les éléments détectés à l'aide de ces deux méthodes est ensuite encodée dans un descripteur multi-ancres, qui identifie de manière unique l'élément ciblé.

AI Computer Vision se compose d'un ensemble d'activités qui font partie du package d'activités UI Automation, ainsi que d'un serveur (qui peut être dans le cloud ou local) hébergeant un modèle d'IA nécessaire pour effectuer le analyse réelle de l'interface utilisateur que vous automatisez. Par défaut, notre serveur Cloud UiPath est utilisé et également recommandé pour toutes les activités AI Computer Vision et UI Automation. Vous pouvez utiliser le Cloud AI Computer Vision quel que soit votre type de déploiement. Par exemple, que vous disposiez d'une version locale d'Orchestrator ou d'un Cloud Orchestrator, vous pouvez exécuter le Cloud Computer Vision sans configuration spéciale requise.

Vous pouvez également héberger et gérer votre propre serveur local AI Computer Vision et l'utiliser pour exécuter les activités AI Computer Vision. Lorsque vous utilisez ce type de serveur, vous devez disposer de votre propre infrastructure matérielle (GPU) ou environnement Cloud. En outre, vous devez déployer, mettre à jour et gérer votre propre environnement localement. Par rapport au serveur Cloud UiPath, vous pouvez également rencontrer des problèmes de rétrocompatibilité lors de la mise à niveau du modèle d'IA.

Le serveur local est une autre version que vous pouvez choisir. Il s’exécute sur le processeur local et il s’agit de la version la plus portable. Cependant, elle est plus lente et a une précision de détection légèrement inférieure.

Bénéfices

Voici quelques fonctionnalités d'AI Computer Vision dont vous pouvez bénéficier :

• L'automatisation au-delà des sélecteurs - Permet aux robots de reconnaître et d'interagir avec plus de champs et de composants à l'écran, même avec Flash, Silverlight, PDF et images.
• Fiable sur les VDI et les ordinateurs de bureau : résout les problèmes liés aux techniques d'automatisation d'image sujettes aux échecs et au ciblage basé sur un sélecteur sur les ordinateurs de bureau. Commencez par créer des automatisations dans Citrix, Classification ou le Bureau à distance de Microsoft.
• Large gamme de types d’interfaces : comprend les environnements VDI (Citrix, VMWare, Microsoft RDP, VNC et autres) pour les applications de bureau et Web. Économisez votre temps en obtenant des éléments d'IU identifiés et ajoutés au référentiel d'objets pour vous.
• Fonctionnalités intelligentes intuitives : fournit des détails, une validation et des notifications sur les sélections à l'écran via un assistant à l'écran. Utilise l’enregistreur pour générer facilement des automatisations complètes basées sur la vision.
• Prise en charge du défilement automatique du runtime : automatisez facilement le contenu déroulant des pages Web ou des applications à l'aide des activités AI Computer Vision.
• Capacités multiplate-formes : automatisation pour Windows, Linux, Android et d'autres systèmes d'exploitation via des bureaux à distance.
• Automatisation entre VDI et non-VDI : simplifie l'automatisation entre VDI et bureau en réduisant les modifications nécessaires.
• Plusieurs options de déploiement : se déploie via SaaS; disponible sur site pour Linux et Windows, ou directement depuis votre bureau.
• Éléments d'interface utilisateur dynamiques - Active les automatisations qui incluent des tables, des listes déroulantes et des éléments de case à cocher. Cela augmente la résilience de vos automatisations, leur permettant de s’adapter aux petites modifications de l’interface utilisateur et d’interagir avec ces éléments dynamiques.
• Disponible dans UI Automation dans le cadre de Cible unifiée : réduit la complexité de la création d’automatisations basées sur l’interface utilisateur lorsque vous avez besoin de sélecteurs et de descripteurs AI Computer Vision.

Options de déploiement

Pour obtenir une comparaison parallèle de nos options de déploiement d'AI Computer Vision existantes, consultez la section Différences d'AI Computer Vision dans le guide de vue d'ensemble.