Methoden finden

Suchmethoden für semantische Selektoren: DOM und Bildmodi für das Anvisieren von UI-Elementen nach Bedeutung und wann sie jeweils verwendet werden sollen.

Mit semantischen Selektoren können Sie UI-Elemente basierend auf ihrer Bedeutung angeben, nicht nur auf herkömmlichen Selektorattributen. Sie beschreiben das Element, mit dem Sie interagieren möchten, und UiPath identifiziert mithilfe von KI das am besten übereinstimmende Ziel.

Semantische Selektoren unterstützen zwei Suchmethoden:

• DOM (Document Object Model) – Die Standardsuchmethode für Webanwendungen. Es verwendet Informationen, die aus dem Anwendungs-DOM extrahiert wurden.
• Bild – die standardmäßige Suchmethode für Nicht-Webanwendungen. Es nutzt das sichtbare Bildschirmbild und die Bildgrundlagenfunktionen moderner multimodaler Modelle.

DOM-Modus

Im DOM-Modus durchsucht UiPath das DOM nach dem Zielelement. Dieser Modus verwendet den DOM Extractor von UiPath, um strukturierte Informationen über die Seite zu sammeln, und sendet diese Informationen dann an ein Large Language Model (LLM), um UI-Elemente basierend auf ihrer semantischen Beschreibung abzugleichen.

Der DOM-Modus wird empfohlen, wenn das Ziel durch im DOM verfügbare Informationen identifiziert werden kann, z. B.:

• sichtbarer Text;
• Beschriftungen;
• Rollen
• Attribute
• Elementhierarchie;
• strukturierte Beziehungen zwischen Elementen.

Der DOM-Modus kann jedes im DOM verfügbare Element erreichen, einschließlich Elemente, die sich außerhalb des Bildschirms befinden. Dies ist nützlich für Webanwendungen, bei denen das Zielelement in der Seitenstruktur vorhanden ist, auch wenn es im Ansichtsfenster nicht sichtbar ist.

Der DOM-Modus ist weniger präzise, wenn die wichtigsten Erkennungsmerkmale visuell sind, z. B. eine bestimmte Symbolform, Farbe, Stil oder visuelle Position. Der DOM-Modus ist auch nicht für Nicht-Webanwendungen verfügbar.

Hinweis:

Der produktinterne Tooltip fasst den DOM-Modus wie folgt zusammen: „Durchsucht das DOM. Erreicht jedes Element, einschließlich außerhalb des Bildschirms. Weniger präzise bei visuellen Details. Nicht verfügbar für Nicht-Webanwendungen.“

Bildmodus

Im Bildmodus suchen semantische Selektoren das sichtbare Bildschirmbild anstelle des DOM. Der Bildmodus kann Objekte erkennen und analysieren, die auf dem Bildschirm sichtbar sind, einschließlich Symbole, Farben, Stile, Layout und visuelle Beziehungen.

Dieser Modus verwendet die Bildgrundlagenfunktionen der neuesten multimodalen Modelle. Diese Modelle können nicht nur verstehen, dass ein Element vorhanden ist, sondern auch, wo es auf dem Bildschirm erscheint und wie es in Bezug auf die umgebende Benutzeroberfläche aussieht.

Der Bildmodus ist die bessere Wahl, wenn das Ziel durch sein Aussehen zuverlässiger als durch seine Struktur beschrieben wird, zum Beispiel:

• ein Symbol mit einer bestimmten Form oder Farbe;
• eine Taste, die visuell deutlich erkennbar ist, aber im DOM schlecht beschrieben ist;
• eine Kachel oder Karte, die durch Farbe, Position oder Stil identifiziert wird;
• ein Warn-, Status- oder Aktionssymbol;
• ein Steuerelement in einer Nicht-Webanwendung;
• ein Bildschirm, auf dem DOM-Informationen unvollständig, laut oder nicht verfügbar sind.

Der Bildmodus kann beispielsweise auf „die grüne Kachel für Vertriebsmöglichkeiten“, „das blaue Symbol neben dem Suchfeld“ oder „das Warnsymbol in der rechten oberen Ecke“ ausgerichtet sein.

Da der Bildmodus über das Bildschirmbild funktioniert, ist er auf das sichtbare Element beschränkt. Wenn ein Element zur Zielzeit außerhalb des Bildschirms, ausgeblendet oder nicht visuell gerendert ist, kann der Bildmodus es auf dem aktuellen Screenshot nicht identifizieren.

Bei Zielen außerhalb des Bildschirms bringt eine Aktivität Mouse Scroll mit der Eigenschaft Zu Element , die vor der Aktion „Semantischer Selektor“ platziert ist, das Element ins Sichtfeld, bevor die Aktion ausgeführt wird.

Hinweis:

Der produktinterne Tooltip fasst den Bildmodus als „Durchsucht das Bildschirmbild“ zusammen. Erkennt jedes Objekt auf dem Bildschirm, einschließlich Symbole, Farben und Stile. Auf das Sichtbare beschränkt.“

Beziehung mit Computer Vision

Der Bildmodus ist die natürliche Weiterentwicklung der Computer Vision-Technologie von UiPath.

Computer Vision verwendet KI-basierte Objekterkennung, um UI-Elemente auf dem Bildschirm zu erkennen. Sie bleibt im einheitlichen Ziel verfügbar und ist weiterhin eine wichtige Zielmethode. Da Computer Vision auf einem dedizierten Objektempfänger basiert, ist es stabiler und deterministischer in Szenarien, die eine vorhersehbare visuelle Elementerkennung erfordern.

Der Bildmodus baut auf der gleichen Richtung – mit visuellem Verständnis zur Interaktion mit Anwendungen, wenn herkömmliche Selektoren nicht ausreichen – führt jedoch einen flexibleren Ansatz ein. Es verwendet moderne multimodale Modelle, die das Vollbildmodus nutzen und Elemente basierend auf Beschreibungen in natürlicher Sprache abgleichen. Die folgende Tabelle fasst die einzelnen Methoden zusammen:

Method	Verwenden Sie sie, wenn
Computer Vision	Sie benötigen eine stabile, deterministische visuelle Objekterkennung.
Bildmodus	Sie möchten eine flexible semantische Zielausrichtung basierend auf sichtbaren visuellen Attributen.
DOM-Modus	Das Element kann zuverlässig aus den DOM-Informationen identifiziert werden.

Computer Vision bleibt Teil des einheitlichen Ziels und wird nicht durch die Bildsuchmethode der semantischen Selektoren ersetzt.

Modellauswahl

Semantische Selektoren enthalten ein Modell -Dropdownmenü unter Projekteinstellungen > UI-Automatisierung > Semantischer Selektor , mit dem Sie das zugrunde liegende Modell auswählen können, das für das semantische Ziel für jede verfügbare Suchmethode verwendet wird.

Für den DOM-Modus sind zwei Modelle verfügbar:

Modell	Beschreibung
Gemini 2.5 Flash	Ein Modell für das semantische Verständnis von DOM-extrahierten Informationen. Geeignet, wenn das Ziel durch die im DOM verfügbaren Informationen beschrieben werden kann.
Path Mini	Das schnelle und kompakte Modell von UiPath, das für starke Leistung bei gleichzeitiger Optimierung von Geschwindigkeit und Effizienz entwickelt wurde. PathMini unterstützt sowohl die Computernutzung als auch die Bildgrundlage für semantische Selektoren.

Für die Transparenz basiert PathMini auf einem fein abgestimmten Qwen-Modell.

Für den Bildmodus können semantische Selektoren nur PathMini verwenden, da es die Bildgrundlage unterstützt und das sichtbare Bildschirmbild nutzen kann.

Nutzungsanleitung

Der DOM-Modus ist die Standardoption für Webanwendungen, wenn das Ziel durch Text, Beschriftungen, Rollen, Attribute oder die im DOM verfügbare Struktur identifiziert werden kann. Der DOM-Modus ist auch nützlich, wenn das Ziel im DOM vorhanden, aber auf dem Bildschirm nicht sichtbar ist.

Der Bildmodus ist die bessere Option, wenn das Ziel durch sein Aussehen beschrieben wird, wenn Farbe, Symbolform, Stil, visuelle Position oder das umgebende Layout relevanter sind als DOM-Attribute. Der Bildmodus ist auch nützlich für Nicht-Webanwendungen oder wenn das DOM nicht genügend zuverlässige Informationen bereitstellt.

Wenn Sie den Bildmodus verwenden, muss das Ziel zur Zielzeit auf dem Bildschirm sichtbar sein. Bei Zielen außerhalb des Bildschirms bringt eine Aktivität Mouse Scroll mit der Eigenschaft Zu Element , die vor der Aktion „Semantischer Selektor“ platziert ist, das Element ins Sichtfeld, bevor die Aktion ausgeführt wird.

Zugehörige Inhalte

Weitere Informationen zu semantischen Selektoren finden Sie unter Über semantische Selektoren.