Computer Vision-Aktivitäten

Dieser Abschnitt enthält mit Computer Vision verwandte Aktivitäten im Paket UiPath.UIAutomation.Activities .

• CV Check
• CV Click
• CV Dropdown Select
• CV Element Exists
• CV Extract Table
• CV Get Text
• CV Highlight
• CV Hover
• CV aktualisieren
• CV Screen Scope
• CV Type Into

Hinweis:

The Computer Vision activities are not compatible with Windows 7.

Die Computer Vision-Aktivitäten enthalten veränderte grundlegende UIAutomation-Aktivitäten wie Click, Type Into oder Get Text. Der Hauptunterschied zwischen den Computer Vision-Aktivitäten und ihren klassischen Pendants besteht in der Verwendung des neuronalen Computer Vision-Netzwerks, das von unserer hauseigenen Abteilung für Machine Learning entwickelt wurde. Das neuronale Netzwerk kann UI-Elemente wie Schaltflächen, Texteingabefelder oder Kontrollkästchen identifizieren, ohne Selektoren zu verwenden.

Diese Aktivitäten werden hauptsächlich für die Automatisierung in virtuellen Desktopumgebungen wie Citrix-Maschinen entwickelt. Sie umgehen das Problem von nicht vorhandenen oder unzuverlässigen Selektoren, da sie Bilder des Fensters, das Sie automatisieren, an das Neuralnetzwerk senden, wo es analysiert wird und alle UI-Elemente identifiziert und beschriftet werden. Intelligente Anker werden verwendet, um die genaue Position des UI-Elements zu bestimmen, mit dem Sie interagieren, um sicherzustellen, dass die Aktion, die Sie ausführen möchten, erfolgreich ist.

Arbeiten mit den Computer Vision-Aktivitäten

Alle Computer Vision-Aktivitäten funktionieren nur innerhalb einer Computer Vision Screen Scope -Aktivität, bei der die Verbindung zum Neuralnetzwerkserver hergestellt wird und Sie die Möglichkeit erhalten, die Bedienoberfläche der zu automatisierenden Anwendungen zu analysieren.

So muss jeder Workflow, der die Computer Vision-Aktivitäten verwendet, damit beginnen, dass eine Computer Vision Screen Scope-Aktivität in den Bereich Designer gezogen wird.

Anschließend können Sie mit der Schaltfläche Auf Bildschirm anzeigen (Indicate on screen) im Hauptteil der Scope-Aktivität den Bildschirmbereich auswählen, in dem Sie arbeiten möchten.

Hinweis:

Wenn Sie auf den Screenshot doppelklicken, wird das Bild angezeigt, das aufgenommen wurde und auf dem alle UI-Elemente, die das Neuralnetzwerk und die OCR-Engine erkannt haben, in pink hervorgehoben sind.

Hinweis:

Area selection can also be used to indicate only a portion of the UI of the application you want to automate. This is especially useful in situations where there are multiple text fields that have the same label and cannot be properly identified.

Once a CV Screen Scope activity is properly configured, you can start using all of the other activities in the pack to build your automation.

Auf Element auf dem Bildschirm deuten

Die Aktivitäten, die Aktionen für UI-Elemente ausführen, können zur Entwurfszeit mithilfe der Schaltfläche Auf Bildschirm anzeigen (Indicate On Screen) auf der Aktivitätskarte konfiguriert werden. Die Aktivitäten mit dieser Funktion sind:

• CV Check
• CV Click
• CV Dropdown Select
• CV Element Exists
• CV Extract Table
• CV Get Text
• CV Highlight
• CV Hover
• CV Screen Scope
• CV Type Into

Durch Klicken auf die Schaltfläche Auf Bildschirm anzeigen (Indicate On Screen) (Hotkey: I) wird der Hilfeassistent geöffnet.

Anzeigen

The Indicate field specifies what you are indicating at the moment. When the helper is opened for the first time, the Target needs to be indicated. For each possible target, the wizard automatically selects an anchor, if one is available.

Elemente anzeigen

The Show Elements (hotkey: s) button in the wizard highlights all UI elements that have been identified by the Computer Vision analysis, making it easier for you to choose what to interact with.

Bildschirmaktualisierung

Die Schaltfläche Bildschirmaktualisierung (Hotkey: F5) kann zur Entwurfszeit verwendet werden, falls sich etwas in der Ziel-App ändert. So können Sie ein neues Bild an den Computer Vision-Server senden, um erneut analysiert zu werden.

Verzögerte Bildschirmaktualisierung

Mit der Schaltfläche Verzögerte Bildschirmaktualisierung (Hotkey: F2) wird die Ziel-App nach 3 Sekunden aktualisiert. Die Richtung des automatischen Bildlaufs zur Laufzeit wird ebenfalls erfasst (Eigenschaft Bildlaufrichtung).

Relativ zu

Die Aktivitäten mit dem Markierungsassistenten enthalten auch eine Funktion Relativ zu, bei der das Ziel ein stabiles Element ist und Sie eine Entfernung relativ dazu ziehen. Das Hauptziel, das stabile Ziel, dient als Proxy-Ziel für das zweite, das relative Ziel.

Dies ist nützlich, wenn Sie einen Bereich auswählen möchten, der nicht den von dem Computer Vision-Modul identifizierten UI-Elementen entspricht, oder wenn Sie einen allgemeinen Bereich in der Benutzeroberfläche auswählen möchten, ohne ein bestimmtes UI-Element anzugeben.

Das relative Ziel kann entweder ein einzelner Punkt oder eine Bereichsauswahl in der Anwendung sein, die Sie automatisieren.

Die Einzelpunktauswahl wird normalerweise an einer Stelle platziert, an der die Computer Vision-Erkennung nicht genau ist und bestimmte Elemente möglicherweise nicht findet. Die Aktivitäten, die die Einzelpunktauswahl verwenden, sind CV Click, CV Hover und CV Type Into.

Die Bereichsauswahl wird von CV Get Text verwendet und für diese Aktivität automatisch aktiviert.

Hinweis:

Sowohl ein Punkt als auch ein Bereich, der als Ziel für Relativ zu verwendet wird, kann mit der Auflösung skaliert werden, die Sie für Ihren Bildschirm gewählt haben. Wenn der Umfang der Anwendung selbst variabel ist, verliert diese Funktion stattdessen ihre Zuverlässigkeit.

Generell muss jeder hinzugefügte Anker zur Runtime gefunden werden. Das heißt, wenn nicht mindestens ein Anker gefunden wird, kann die gesamte Auswahl nicht gefunden werden. Anker müssen also stabile Elemente sein, von denen Sie mit Sicherheit wissen, dass sie von Computer Vision jedes Mal erkannt werden können und die sich in der Benutzeroberfläche zur Runtime nicht erheblich verändern.

Angenommen, Sie möchten auf die Schaltfläche „X“ in der Abbildung unten klicken. Sie sehen, dass sich das Ziel auf der Schaltfläche „X“ befindet, aber der Klick erfolgt im grünen Kreis. Dies liegt daran, dass Sie sich dafür entschieden haben, relativ zur Schaltfläche „X“ zu klicken. Wenn Computer Vision also ein bestimmtes UI-Element nicht erkennen kann, sollte die Funktion Relativ zu nicht verwendet werden.

Um die Schaltfläche „X“ auszuwählen und nicht einen Bereich relativ dazu, vergewissern Sie sich, dass die Schaltfläche „X“ einen grünen Umriss hat.

Wenn die Schaltfläche „X“ nicht stabil ist, können Sie relativ zu einem stabilen Element klicken.

Tabellenangabe

Die Computer Vision-Aktivitäten bieten auch Unterstützung für das Anzeigen von Tabellen. Das Targeting in Tabellen kann durch Auswählen einer Zelle erfolgen, mit der Sie interagieren möchten, wodurch das neuronale Netzwerk automatisch die Spalte und die Zeile identifiziert, die die Position dieser Zelle definieren, und sie in einem Raster anzeigt.

Standardmäßig werden die Namen der Spalte und Zeile im Deskriptor verwendet, um die Position der Zelle zu bestimmen. Wenn Sie auf die Spalten- und Zeilenindizes klicken, werden sie automatisch zu Ihrem Deskriptor hinzugefügt. Dies kann in Situationen nützlich sein, in denen Spalten- und Zeilennamen geändert werden, Sie aber dieselbe Position einer Zelle extrahieren möchten.

After successfully indicating the Target, the wizard closes and the activity is configured with the target you selected.

Hinweis:

Please remember that whenever you choose to submit errors in the behavior of the neural network, you are helping it learn and indirectly helping us give you a better product. Submit as many issues as you can, as this gives us the opportunity to acknowledge and fix them.