Einleitung

Übersicht über AI Computer Vision und seinen Machine-Learning-Ansatz zur Identifizierung von UI-Elementen in Automation Cloud.

AI Computer Vision ist eine auf Machine Learning basierende Methode, die alle UI-Elemente auf einem Computerbildschirm visuell identifiziert und mit ihnen über UiPath Robots interagiert, um eine menschliche Interaktion zu simulieren. Dabei werden nicht die zugrunde liegenden Eigenschaften von Anwendungen benötigt oder verwendet, sondern nur das Aussehen und die Beziehung verschiedener Bildschirmelemente.

Rather than relying on selectors, AI Computer Vision uses AI (Object Detection, OCR, fuzzy text-matching, image-matching for icons) and an anchoring system to tie it all together.

To visually locate elements on the screen, AI Computer Vision performs an element detection (on the machine-learning server) and a text (OCR) detection, and combines these two into a full understanding of the UI. The relationship between elements detected with these two methods is then encoded into a multi-anchor descriptor, which uniquely identifies the targeted element.

AI Computer Vision has two parts:

• A set of activities, which are part of the UI Automation activity package.
• A server hosting the AI model that performs the actual analysis of the UI you're automating. The server can be cloud, on-premises, or local.

The following table describes the three server types and what to consider for each one.

Servertyp	Wie es funktioniert	What to consider
Cloud (default and recommended)	The UiPath cloud server is used by default for all AI Computer Vision and UI Automation activities.	You can use AI Computer Vision cloud regardless of your deployment type. Whether Orchestrator is on-premises or in the cloud, Computer Vision cloud runs with no special configuration required.
Lokal (On-Premises)	You host and manage your own AI Computer Vision server, and use it to run the AI Computer Vision activities.	You need your own hardware infrastructure (GPUs) or cloud environment, which you deploy, update, and maintain locally. Compared to the UiPath cloud server, you might also run into backwards compatibility issues when upgrading the AI model.
Lokal (Local)	The local server runs on local CPU and is the most portable version.	It is slower and has a slightly lower detection accuracy.

Vorteile

Hier sind einige Funktionen von AI Computer Vision, von denen Sie profitieren können:

• Automatisierung über Selektoren hinaus – Ermöglicht es Robotern, mehr Felder und Komponenten auf dem Bildschirm zu erkennen und mit ihnen zu interagieren – auch Flash, Silverlight, PDFs und Bilder.
• Zuverlässig auf VDIs und Desktops – Beseitigt Probleme mit fehleranfälligen Bildautomatisierungstechniken und mit der selektorbasierten Zielausrichtung auf Desktops. Beginnen Sie mit dem Erstellen von Automatisierungen innerhalb von Citrix, VMware oder dem Remotedesktop von Microsoft.
• Breite Auswahl an Schnittstellentypen – Dazu gehören VDI-Umgebungen (Citrix, VMWare, Microsoft RDP, VNC und andere) für Desktop- und Webanwendungen. sparen Sie Zeit, indem Sie UI-Elemente identifizieren und dem Object-Repository für Sie hinzufügen.
• Intelligente, intuitive Funktionen – Stellt Details, Validierungen und Benachrichtigungen über Auswahln auf dem Bildschirm über einen Assistenten auf dem Bildschirm bereit. Verwendet den Recorder, um vollständige Vision-basierte Automatisierungen zu generieren.
• Unterstützung des automatischen Bildlaufs während der Laufzeit – Automatisieren Sie ganz einfach scrollbare Inhalte in Webseiten oder Apps mithilfe von AI Computer Vision-Aktivitäten.
• Plattformübergreifende Funktionen – Automatisieren für Windows, Linux, Android und andere Betriebssysteme über Remotedesktops.
• Automatisierung zwischen VDI und Nicht-VDI – Vereinfacht die VDI-zu-Desktop-Automatisierung durch Reduzierung erforderlicher Änderungen.
• Mehrere Bereitstellungsoptionen – Bereitstellung über SaaS; verfügbar lokal für Linux und Windows, oder direkt von Ihrem Desktop aus.
• Dynamische UI-Elemente – Aktiviert Automatisierungen, die Tabellen, Dropdownlisten und Kontrollkästchenelemente enthalten. Dies erhöht die Widerstandsfähigkeit Ihrer Automatisierungen, sodass sie sich an kleine Änderungen an der Benutzeroberfläche anpassen und mit diesen dynamischen Elementen interagieren können.
• Verfügbar in UI-Automatisierung als Teil von Unified Target – Reduziert die Komplexität der Erstellung von UI-basierten Automatisierungen, wenn Sie sowohl Selektoren als auch AI Computer Vision-Deskriptoren benötigen.

Bereitstellungsoptionen

Einen parallelen Vergleich unserer bestehenden Bereitstellungsoptionen von AI Computer Vision finden Sie im Abschnitt Unterschiede bei AI Computer Vision in der Übersicht.