Einleitung

AI Computer Vision ist eine auf Machine Learning basierende Methode, die alle UI-Elemente auf einem Computerbildschirm visuell identifiziert und mit ihnen über UiPath Robots interagiert, um eine menschliche Interaktion zu simulieren. Dabei werden nicht die zugrunde liegenden Eigenschaften von Anwendungen benötigt oder verwendet, sondern nur das Aussehen und die Beziehung verschiedener Bildschirmelemente.

Anstatt sich auf Selektoren zu verlassen, nutzt AI Computer Vision KI (Objekterkennung, OCR, Fuzzy Text-Matching, Image-Matching für Symbole) und ein Ankersystem, um alles miteinander zu verknüpfen. Genauer gesagt führt AI Computer Vision zum visuellen Lokalisieren von Elementen auf dem Bildschirm eine Elementerkennung (auf dem Machine-Learning-Server) und eine Texterkennung (OCR) durch und kombiniert diese beiden zu einem vollständigen Verständnis der UI. Die Beziehung zwischen Elementen, die mit diesen beiden Methoden erkannt werden, wird dann in einen Deskriptor mit mehreren Ankern codiert, der das Zielelement eindeutig identifiziert.

AI Computer Vision besteht aus einer Reihe von Aktivitäten, die Teil des UIAutomation-Aktivitätspakets sind, sowie einem Server (der in der Cloud, vor Ort oder lokal eingerichtet sein kann), der ein KI-Model hostet und zur Durchführung benötigt wird Tatsächliche Analyse der Benutzeroberfläche, die Sie automatisieren. Standardmäßig wird unser UiPath Cloud-Server verwendet und auch für alle AI Computer Vision- und UI-Automatisierungsaktivitäten empfohlen. Sie können die AI Computer Vision-Cloud unabhängig von Ihrem Bereitstellungstyp verwenden. Es spielt beispielsweise keine Rolle, ob Sie den Orchestrator lokal oder in der Cloud haben – Sie können die Computer Vision-Cloud ohne spezielle Konfiguration ausführen.

Alternativ können Sie Ihren eigenen lokalen AI Computer Vision-Server hosten und verwalten und zum Ausführen der AI Computer Vision-Aktivitäten verwenden. Wenn Sie diesen Servertyp verwenden, benötigen Sie eine eigene Hardwareinfrastruktur (GPUs) oder Cloud-Umgebung. Außerdem müssen Sie Ihre eigene Umgebung lokal bereitstellen, aktualisieren und warten. Im Vergleich zum UiPath Cloud-Server können Sie auch beim Aktualisieren des KI-Modells Probleme mit der Abwärtskompatibilität haben.

Lokaler Server ist eine weitere Variante, für die Sie sich entscheiden können. Sie wird auf der lokalen CPU ausgeführt und ist die portabelste Version. Es ist jedoch langsamer und hat eine etwas geringere Erkennungsgenauigkeit.

Vorteile

Hier sind einige Funktionen von AI Computer Vision, von denen Sie profitieren können:

• Automatisierung über Selektoren hinaus – Ermöglicht es Robotern, mehr Felder und Komponenten auf dem Bildschirm zu erkennen und mit ihnen zu interagieren – auch Flash, Silverlight, PDFs und Bilder.
• Zuverlässig auf VDIs und Desktops – Beseitigt Probleme mit fehleranfälligen Bildautomatisierungstechniken und mit der selektorbasierten Zielausrichtung auf Desktops. Beginnen Sie mit dem Erstellen von Automatisierungen innerhalb von Citrix, VMware oder Microsofts Remotedesktop.
• Breite Auswahl an Schnittstellentypen – Dazu gehören VDI-Umgebungen (Citrix, VMWare, Microsoft RDP, VNC und andere) für Desktop- und Webanwendungen. sparen Sie Zeit, indem Sie UI-Elemente identifizieren und dem Object-Repository für Sie hinzufügen.
• Intelligente, intuitive Funktionen – Stellt Details, Validierungen und Benachrichtigungen über Auswahln auf dem Bildschirm über einen Assistenten auf dem Bildschirm bereit. Verwendet den Recorder, um vollständige Vision-basierte Automatisierungen zu generieren.
• Unterstützung des automatischen Bildlaufs während der Laufzeit – Automatisieren Sie ganz einfach scrollbare Inhalte in Webseiten oder Apps mithilfe von AI Computer Vision-Aktivitäten.
• Plattformübergreifende Funktionen – Automatisieren für Windows, Linux, Android und andere Betriebssysteme über Remotedesktops.
• Automatisierung zwischen VDI und Nicht-VDI – Vereinfacht die VDI-zu-Desktop-Automatisierung durch Reduzierung erforderlicher Änderungen.
• Mehrere Bereitstellungsoptionen – Bereitstellung über SaaS; verfügbar lokal für Linux und Windows, oder direkt von Ihrem Desktop aus.
• Dynamische UI-Elemente – Aktiviert Automatisierungen, die Tabellen, Dropdownlisten und Kontrollkästchenelemente enthalten. Dies erhöht die Widerstandsfähigkeit Ihrer Automatisierungen, sodass sie sich an kleine Änderungen an der Benutzeroberfläche anpassen und mit diesen dynamischen Elementen interagieren können.
• Verfügbar in UI-Automatisierung als Teil von Unified Target – Reduziert die Komplexität der Erstellung von UI-basierten Automatisierungen, wenn Sie sowohl Selektoren als auch AI Computer Vision-Deskriptoren benötigen.

Bereitstellungsoptionen

Einen parallelen Vergleich unserer bestehenden Bereitstellungsoptionen von AI Computer Vision finden Sie im Abschnitt Unterschiede bei AI Computer Vision in der Übersicht.