Computer Vision-Aktivitäten

Dieser Abschnitt enthält mit Computer Vision verwandte Aktivitäten im Paket UiPath.UIAutomation.Activities.

• CV Check
• CV Click
• CV Dropdown Select
• CV Element Exists
• CV Extract Table
• CV Get Text
• CV Highlight
• CV Hover
• CV aktualisieren
• CV Screen Scope
• CV Type Into

Hinweis: Die Computer Vision-Aktivitäten sind nicht mit Windows 7 kompatibel.

Die Computer Vision-Aktivitäten enthalten veränderte grundlegende UIAutomation-Aktivitäten wie Click, Type Intooder Get Text. Der Hauptunterschied zwischen den Computer Vision-Aktivitäten und ihren klassischen Pendants besteht in der Verwendung des neuronalen Netzwerks für Computer Vision, das von unserer hauseigenen Abteilung für Machine Learning entwickelt wurde. Das neuronale Netzwerk kann UI-Elemente wie Schaltflächen, Texteingabefelder oder Kontrollkästchen identifizieren, ohne Selektoren zu verwenden.

Diese Aktivitäten werden hauptsächlich für die Automatisierung in virtuellen Desktopumgebungen wie Citrix-Maschinen entwickelt. Sie umgehen das Problem von nicht vorhandenen oder unzuverlässigen Selektoren, da sie Bilder des Fensters, das Sie automatisieren, an das Neuralnetzwerk senden, wo es analysiert wird und alle UI-Elemente identifiziert und beschriftet werden. Intelligente Anker werden verwendet, um die genaue Position des UI-Elements zu bestimmen, mit dem Sie interagieren, um sicherzustellen, dass die Aktion, die Sie ausführen möchten, erfolgreich ist.

Arbeiten mit den Computer Vision-Aktivitäten

Alle Computer Vision-Aktivitäten funktionieren nur innerhalb einer CV Screen Scope -Aktivität, die die eigentliche Verbindung zum neuronalen Netzwerkserver herstellt, sodass Sie die UI der Anwendungen analysieren können, die Sie automatisieren möchten.

So muss jeder Workflow, der die Computer Vision-Aktivitäten verwendet, damit beginnen, dass eine Computer Vision Screen Scope-Aktivität in den Bereich Designer gezogen wird.

Anschließend können Sie mit der Schaltfläche Auf Bildschirm anzeigen (Indicate on screen) im Hauptteil der Scope-Aktivität den Bildschirmbereich auswählen, in dem Sie arbeiten möchten.

Hinweis: Wenn Sie auf den Screenshot doppelklicken, wird das Bild angezeigt, das aufgenommen wurde und auf dem alle UI-Elemente, die das Neuralnetzwerk und die OCR-Engine erkannt haben, in violett hervorgehoben sind.

Hinweis: Die Bereichsauswahl kann darüber hinaus verwendet werden, um nur einen Teil der Bedienoberfläche der zu automatisierenden App auszuwählen. Dies ist besonders in Situationen hilfreich, in denen mehrere Textfelder dieselbe Beschriftung haben und nicht ordnungsgemäß erkannt werden können.

Sobald eine CV Screen Scope- Aktivität ordnungsgemäß konfiguriert ist, können Sie alle anderen Aktivitäten im Paket verwenden, um Ihre Automatisierung zu erstellen.

Auf Element auf dem Bildschirm deuten

Die Aktivitäten, die Aktionen für UI-Elemente ausführen, können zur Entwurfszeit mithilfe der Schaltfläche Auf Bildschirm anzeigen (Indicate On Screen) auf der Aktivitätskarte konfiguriert werden. Die Aktivitäten mit dieser Funktion sind:

• CV Check
• CV Click
• CV Dropdown Select
• CV Element Exists
• CV Extract Table
• CV Get Text
• CV Highlight
• CV Hover
• CV Screen Scope
• CV Type Into

Durch Klicken auf die Schaltfläche Auf Bildschirm anzeigen (Indicate On Screen) (Hotkey: I) wird der Hilfeassistent geöffnet.

Anzeigen

Das Feld Angeben gibt an, was Sie gerade angeben. Wenn der Helper zum ersten Mal geöffnet wird, muss das Ziel angegeben werden. Für jedes mögliche Ziel wählt der Assistent automatisch einen Anker aus, falls einer verfügbar ist.

Elemente anzeigen

Die Schaltfläche Elemente anzeigen (Hotkey: s) im Assistenten hebt alle UI-Elemente hervor, die von der Computer Vision-Analyse identifiziert wurden, sodass Sie leichter auswählen können, mit was Sie interagieren möchten.

Bildschirmaktualisierung

Die Schaltfläche Bildschirmaktualisierung (Hotkey: F5) kann zur Entwurfszeit verwendet werden, falls sich etwas in der Ziel-App ändert, sodass Sie ein neues Bild zur erneuten Analyse an den Computer Vision-Server senden können.

Verzögerte Bildschirmaktualisierung

Die Schaltfläche Verzögerte Bildschirmaktualisierung (Hotkey: F2) führt nach 3 Sekunden Wartezeit eine Aktualisierung der Ziel-App durch. Die automatische Bildlaufrichtung zur Laufzeit wird ebenfalls erfasst (ScrollDirection-Eigenschaft).

Relativ zu

Die Aktivitäten mit dem Markierungsassistenten enthalten auch eine Funktion Relativ zu, bei der das Ziel ein stabiles Element ist und Sie eine Entfernung relativ dazu ziehen. Das Hauptziel, das stabile Ziel, dient als Proxy-Ziel für das zweite, das relative Ziel.

Dies ist nützlich, wenn Sie einen Bereich auswählen möchten, der nicht den von dem Computer Vision-Modul identifizierten UI-Elementen entspricht, oder wenn Sie einen allgemeinen Bereich in der Benutzeroberfläche auswählen möchten, ohne ein bestimmtes UI-Element anzugeben.

Das relative Ziel kann entweder ein einzelner Punkt oder eine Bereichsauswahl in der Anwendung sein, die Sie automatisieren.

Die Einzelpunktauswahl wird normalerweise an einer Stelle platziert, an der die Computer Vision-Erkennung nicht genau ist und bestimmte Elemente möglicherweise nicht findet. Die Aktivitäten, die die Einzelpunktauswahl verwenden, sind CV Click, CV Hover und CV Type Into.

Die Bereichsauswahl wird von CV Get Text verwendet und für diese Aktivität automatisch aktiviert.

Hinweis: Sowohl ein Punkt als auch eine Fläche, die als Ziel für „ Relativ auf “ verwendet werden, sind mit der Auflösungsskala skalierbar, die Sie für Ihren Bildschirm ausgewählt haben. Wenn die Skalierung der Anwendung selbst variabel ist, verliert diese Funktion jedoch ihre Zuverlässigkeit.

Generell muss jeder hinzugefügte Anker zur Runtime gefunden werden. Das heißt, wenn nicht mindestens ein Anker gefunden wird, kann die gesamte Auswahl nicht gefunden werden. Anker müssen also stabile Elemente sein, von denen Sie mit Sicherheit wissen, dass sie von Computer Vision jedes Mal erkannt werden können und die sich in der Benutzeroberfläche zur Runtime nicht erheblich verändern.

Angenommen, Sie möchten auf die Schaltfläche „X“ in der Abbildung unten klicken. Sie sehen, dass sich das Ziel auf der Schaltfläche „X“ befindet, aber der Klick erfolgt im grünen Kreis. Dies liegt daran, dass Sie sich dafür entschieden haben, relativ zur Schaltfläche „X“ zu klicken. Wenn Computer Vision also ein bestimmtes UI-Element nicht erkennen kann, sollte die Funktion Relativ zu nicht verwendet werden.

Um die Schaltfläche „X“ auszuwählen und nicht einen Bereich relativ dazu, vergewissern Sie sich, dass die Schaltfläche „X“ einen grünen Umriss hat.

Wenn die Schaltfläche „X“ nicht stabil ist, können Sie relativ zu einem stabilen Element klicken.

Tabellenangabe

Die Computer Vision-Aktivitäten bieten auch Unterstützung für das Anzeigen von Tabellen. Das Targeting in Tabellen kann durch Auswählen einer Zelle erfolgen, mit der Sie interagieren möchten, wodurch das neuronale Netzwerk automatisch die Spalte und die Zeile identifiziert, die die Position dieser Zelle definieren, und sie in einem Raster anzeigt.

Standardmäßig werden die Namen der Spalte und Zeile im Deskriptor verwendet, um die Position der Zelle zu bestimmen. Wenn Sie auf die Spalten- und Zeilenindizes klicken, werden sie automatisch zu Ihrem Deskriptor hinzugefügt. Dies kann in Situationen nützlich sein, in denen Spalten- und Zeilennamen geändert werden, Sie aber dieselbe Position einer Zelle extrahieren möchten.

Nachdem Sie das Zielerfolgreich angegeben haben, wird der Assistent geschlossen und die Aktivität wird mit dem von Ihnen ausgewählten Ziel konfiguriert.

Hinweis: Bitte bedenken Sie, dass Sie durch Melden von Fehlern im Verhalten des Neuralnetzwerks diesem helfen, zu lernen und dass Sie indirekt uns in die Lage versetzen, Ihnen ein besseres Produkt zu bieten. Melden Sie so viele Probleme, wie Sie können. So erlangen wir Kenntnis davon und erhalten die Gelegenheit, diese zu beheben.