Einleitung

AI Computer Vision ist eine auf Machine Learning basierende Methode, die alle UI-Elemente auf einem Computerbildschirm visuell identifiziert und mit ihnen über UiPath Robots interagiert, um eine menschliche Interaktion zu simulieren. Dabei werden nicht die zugrunde liegenden Eigenschaften von Anwendungen benötigt oder verwendet, sondern nur das Aussehen und die Beziehung verschiedener Bildschirmelemente.

Anstatt sich auf Selektoren zu verlassen, nutzt AI Computer Vision KI (Objekterkennung, OCR, Fuzzy Text-Matching, Image-Matching für Symbole) und ein Ankersystem, um alles miteinander zu verknüpfen. Genauer gesagt führt AI Computer Vision zum visuellen Lokalisieren von Elementen auf dem Bildschirm eine Elementerkennung (auf dem Machine-Learning-Server) und eine Texterkennung (OCR) durch und kombiniert diese beiden zu einem vollständigen Verständnis der UI. Die Beziehung zwischen Elementen, die mit diesen beiden Methoden erkannt werden, wird dann in einen Deskriptor mit mehreren Ankern codiert, der das Zielelement eindeutig identifiziert.

AI Computer Vision besteht aus einer Reihe von Aktivitäten, die Teil des UIAutomation-Aktivitätspakets sind, sowie einem Server (der in der Cloud, vor Ort oder lokal eingerichtet sein kann), der ein KI-Model hostet und für die eigentliche Analyse der zu automatisierenden Benutzeroberfläche benötigt wird. Standardmäßig wird unser UiPath Cloud-Server verwendet und auch für alle Computer Vision- und UI-Automatisierungsaktivitäten empfohlen. Sie können die Computer Vision-Cloud unabhängig von Ihrem Bereitstellungstyp verwenden. Es spielt beispielsweise keine Rolle, ob Sie den Orchestrator lokal oder in der Cloud haben – Sie können die Computer Vision-Cloud ohne spezielle Konfiguration ausführen.

Alternativ können Sie Ihren eigenen lokalen AI Computer Vision-Server hosten und verwalten und zum Ausführen der AI Computer Vision-Aktivitäten verwenden. Wenn Sie diesen Servertyp verwenden, benötigen Sie eine eigene Hardwareinfrastruktur (GPUs) oder Cloud-Umgebung. Außerdem müssen Sie Ihre eigene Umgebung lokal bereitstellen, aktualisieren und warten. Im Vergleich zum UiPath Cloud-Server können Sie beim Aktualisieren des KI-Modells auch Probleme mit der Abwärtskompatibilität haben. Weitere Informationen zur Vermeidung dieser Art von Problemen finden Sie unter Widerstandsfähigkeit gegen Modellaktualisierungen.

Der lokale Server ist eine weitere Variante, für die Sie sich entscheiden können. Sie wird auf der lokalen CPU ausgeführt und ist die portabelste Version. Er ist jedoch langsamer und hat eine etwas geringere Erkennungsgenauigkeit.

Vorteile

Hier sind einige Funktionen von AI Computer Vision, von denen Sie profitieren können:

Automatisierung über Selektoren hinaus – Ermöglicht Robotern die Erkennung und Interaktion mit weiteren Feldern und Komponenten auf dem Bildschirm – sogar mit Flash, Silverlight, PDFs und Bildern.
Zuverlässig auf VDIs und Desktops – Behebt Probleme mit fehleranfälligen Bildautomatisierungstechniken und mit selektorbasiertem Targeting auf Desktops. Fangen Sie damit an, dass Sie Automatisierungen in Citrix, VMware oder Microsoft-Remotedesktop erstellen.
Große Auswahl an Schnittstellentypen – Enthält VDI-Umgebungen (Citrix, VMWare, Microsoft RDP, VNC und andere) für Desktop- und Webanwendungen. Sparen Sie Zeit, indem Sie UI-Elemente identifizieren und zum Object-Repository hinzufügen lassen.
Intelligente, intuitive Funktionen – Bietet Details, Validierungen und Benachrichtigungen zu Auswahlen auf dem Bildschirm über einen Bildschirmassistenten. Verwendet den Recorder, um auf einfache Weise vollständige Vision-basierte Automatisierungen zu generieren.
Unterstützung des automatischen Bildlaufs zur Laufzeit – Automatisieren Sie auf einfache Weise scrollbare Inhalte in Webseiten oder Apps mithilfe von Computer Vision-Aktivitäten.
Plattformübergreifende Funktionen – Automatisierung für Windows, Linux, Android und andere Betriebssysteme über Remote-Desktops.
Automatisierung zwischen VDI und Nicht-VDI – Vereinfacht die VDI-zu-Desktop-Automatisierung durch Reduzierung der erforderlichen Änderungen.
Mehrere Bereitstellungsoptionen – Wird über SaaS bereitgestellt; lokal für Linux und Windows oder direkt von Ihrem Desktop aus verfügbar.
Dynamische UI-Elemente – Ermöglicht Automatisierungen, die Tabellen, Dropdownlisten und Checkbox-Elemente enthalten. Dadurch wird die Widerstandsfähigkeit Ihrer Automatisierungen erhöht, sodass sie sich an kleine Änderungen an der Benutzeroberfläche anpassen und mit diesen dynamischen Elementen interagieren können.
Verfügbar in der UI-Automatisierung als Teil des einheitlichen Ziels – Reduziert die Komplexität des Erstellens von UI-basierten Automatisierungen, wenn Sie sowohl Selektoren als auch Computer Vision-Deskriptoren benötigen.

Bereitstellungsoptionen

In der folgenden Tabelle finden Sie einen direkten Vergleich unserer aktuellen Computer Vision-Bereitstellungsoptionen.

	UiPath Cloud-Server	Lokaler Server	Lokaler Server	Anmerkungen
Modell-Regressionstests				Jedes neue Modell erkennt weiterhin alle Daten zur Entwurfszeit, die in der vorherigen Iteration erkannt wurden, damit die laufende Automatisierung nicht unterbrochen wird.
Scheinbare Datenspeicherung zur Entwurfszeit				Das Modell lernt Formen und Farben von UI-Elementen, daher wird die Verwendung von Pseudo-Daten ohne vertrauliche Informationen empfohlen.
Laufzeitdatenspeicherung				Laufzeit-Produktionsdaten (die vertrauliche Informationen enthalten könnten) werden nie verwendet oder gespeichert, sondern nur als Eingabe für das KI-Modell verwendet.
Problemloser und kostenloser Server				Keine Angabe
Geschwindigkeit	Hoch (GPU)	Hoch (GPU)	Etwas niedriger (CPU)	Der lokale Server ist eine komprimierte Version des Cloud-Modells ( weniger Neuronen), das für helle Szenarien mit generischen aussehenden UI-Elementen gut geeignet ist.
Vision-Generator	Hoch	Hoch	Etwas niedriger	Der lokale Server ist eine komprimierte Version des Cloud-Modells ( weniger Neuronen), das für helle Szenarien mit generischen aussehenden UI-Elementen gut geeignet ist.
Kostenlos mit einer Enterprise-Lizenz				Keine Angabe
Nutzung	Community: 30 MP/Min Enterprise: 240 MP/Min	Unbegrenzt	Unbegrenzt	Das Nutzungslimit für den UiPath-Cloudserver ist so konzipiert, dass ein sehr großer Spielraum möglich ist. Es ist selbst in den aktivsten Nutzungsszenarien sehr schwierig, diesen Grenzwert zu erreichen.