Ausgabe- oder Screen-Sraping-Methoden

Ausgabe- oder Screen-Scraping-Methoden beziehen sich auf solche Aktivitäten, mit denen Sie Daten aus einem bestimmten UI-Element oder Dokument, z. B. einer PDF-Datei, extrahieren können.

Um zu verstehen, welcher für die Automatisierung Ihres Geschäftsprozesses besser geeignet ist, sehen wir uns die Unterschiede zwischen ihnen an.

Funktionsmethode	Geschwindigkeit	Genauigkeit	Ausführung im Hintergrund	Textposition extrahieren	Ausgeblendeten Text extrahieren	Unterstützung für Citrix:
FullText	10/10	100%	ja	nein	ja	nein
Nativ	8/10	100%	nein	ja	nein	nein
OCR	3/10	98%	nein	ja	nein	ja

FullText ist die Standardmethode, sie ist schnell und zuverlässig, jedoch kann sie im Gegensatz zur Native-Methode die Bildschirmkoordinaten des Texts nicht extrahieren.

Beide Methoden funktionieren nur mit Desktop-Anwendungen, aber die Native-Methode funktioniert nur mit Apps, die zum Wiedergeben von Text mit dem Graphics Device Interface (GDI) erstellt wurden.

OCR ist nicht zu 100 % genau, kann aber nützlich sein, um Text zu extrahieren, den die beiden anderen Methoden nicht verwenden konnten, da es mit allen Anwendungen, einschließlich Citrix, funktioniert. Studio verwendet standardmäßig zwei OCR-Engines: Google Tesseract und Microsoft Modi.

Sprachen können für OCR-Engines geändert werden und hier finden Sie heraus, wie man OCR-Sprachen installiert (Install OCR Languages).

Funktionsmethode	Unterstützung mehrerer Sprachen	Bevorzugte Bereichsgröße	Unterstützung für Farbinvertierung	Legen Sie das Erwartete Textformat fest	Zulässige Zeichen filtern	Am besten mit Microsoft-Schriftarten
Google Tesseract	Kann hinzugefügt werden	Klein	ja	ja	ja	nein
MIcrosoft MODI	Standardmäßig unterstützt	Groß	nein	nein	nein	ja

Um Text aus verschiedenen Quellen zu extrahieren, klicken Sie auf die Schaltfläche Screen-Scraping(Screen Scraping)auf der Registerkarte des Menübands Design in der Gruppe Assistenten (Wizards).

Der Screen-Scraping-Assistent ermöglicht es Ihnen, mithilfe einer der drei oben beschriebenen Ausgabemethoden auf ein UI-Element zu zeigen und den Text daraus zu extrahieren. Studio wählt automatisch eine Screen-Scraping-Methode für Sie aus und zeigt diese oben im Fenster Screen Scraper Wizard an.

Um die Methode des Screen-Scraping zu ändern, wählen Sie eine andere aus dem Panel Optionen (Options) und klicken Sie anschließend auf Aktualisieren (Refresh).

Wenn Sie mit den Scraping-Ergebnissen zufrieden sind, klicken Sie auf In Zwischenablage kopieren (Copy to Clipboard) und Fertigstellen (Finish). Mit letzterer Option wird der extrahierte Text in die Zwischenablage kopiert und kann einer Aktivität Datentabelle generieren (Generate Data Table) des Panels Designer (Designer) hinzugefügt werden. Genau wie bei Desktop-Aufzeichnung (desktop recording wird bei Screen Scraping ein Container (mit dem Selektor im Fenster der oberen Ebene) erzeugt, das Aktivitäten und partielle Selektoren für jede Aktivität enthält.

Für jede neue Art von Screen-Scraping gibt es im Screen Scraper Wizard im Panel Optionen (Options) verschiedene Funktionen:

1. FullText

   
   

   

   
   
   • Ignore Hidden – wenn dieses Kontrollkästchen aktiviert ist, wird der ausgeblendete Text des ausgewählten UI-Elements nicht kopiert.

2. Nativ

   
   

   

   
   
   • Keine Formatierung(No Formatting) – Wenn dieses Kontrollkästchen aktiviert ist, extrahiert der kopierte Text keine Formatierungsinformationen aus dem Text. Andernfalls wird die relative Position des extrahierten Texts festgehalten.
   • Informationen abrufen – Wenn dieses Kontrollkästchen aktiviert ist, extrahiert Studio auch die Bildschirmkoordinaten jedes Wortes. Darüber hinaus wird das Feld „Benutzerdefinierte Trennzeichen“ angezeigt, mit dem Sie die Zeichen angeben können, die als Trennzeichen verwendet werden. Wenn das Feld leer ist, werden alle bekannten Texttrennzeichen verwendet.

3. Google OCR

   
   

   

   
   
   • Sprachen – nur Englisch ist standardmäßig verfügbar.
   • Zeichen(Characters) – Hier können Sie auswählen, welche Zeichenarten extrahiert werden sollen. Die folgenden Optionen sind verfügbar: Beliebiges Zeichen(Any character), Nur Zahlen(Numbers only), Buchstaben(Letters), Großbuchstaben(Uppercase), Kleinbuchstaben(Lowercase), Telefonnummern(Phone numbers), Währung(Currency), Datum(Date) und Benutzerdefiniert(Custom). Wenn Sie Benutzerdefiniert(Custom) auswählen, werden zwei zusätzliche Felder angezeigt: Zugelassen(Allowed) und (Denied), mit denen Sie benutzerdefinierte Regeln erstellen können, anhand derer Zeichen extrahiert bzw. vermieden werden.
   • Umkehren (Invert) – wenn dieses Kontrollkästchen aktiviert ist, werden die Farben des UI-Elements vor dem Scraping umgekehrt. Dies ist nützlich, wenn der Hintergrund dunkler ist als die Textfarbe.
   • Skalierung (Scale) – der Skalierungsfaktor des ausgewählten UI-Elements oder Bilds. Je höher die Zahl ist, desto mehr vergrößern Sie das Bild. Dies kann zu einer besseren OCR-Erkennung führen und wird bei kleinen Bildern empfohlen.

   • Get Words Info – Ruft die Position jedes einzelnen extrahierten Worts auf dem Bildschirm ab.

     Hinweis: In einigen Instanzen von UiPath Studio verfügt die Google Tesseract-Engine möglicherweise über Trainingsdateien (über Trainingsdateien: Wikipedia, GitHub), die für bestimmte nicht-englische Sprachen nicht funktionieren. Das Ausführen eines Projekts mit diesen beschädigten Trainingsdateien kann einen Ausnahmefehler auslösen. Um dieses Problem zu beheben, laden Sie die Trainingsdatei für die Sprache, die Sie verwenden möchten, hier herunter und kopieren Sie sie in den Ordner „tessdata“ aus dem UiPath-Installationsverzeichnis. Um zu überprüfen, ob die heruntergeladenen Trainingsdateien funktionieren, können Sie dieses Testprojekt herunterladen.

4. UiPath Screen OCR

   
   

   

   
   
   • Endpunkt – Der Endpunkt, an dem das OCR-Modell öffentlich oder über eine ML-Fähigkeit im AI Center gehostet wird.
   • API-Schlüssel – Der API-Schlüssel des Endpunkts.
   • Get Words Info – Ruft die Position jedes einzelnen extrahierten Worts auf dem Bildschirm ab.
   • Lokalen Server verwenden – Wählen Sie diese Option aus, wenn Sie die OCR lokal ausführen möchten (erfordert das Computer Vision Local Server-Paket)

5. Microsoft OCR

   Wichtig: Die Microsoft OCR Scraping-Engine unterstützt keine .NET 5-Workflows.
   
   

   

   
   

• Languages – ermöglicht es Ihnen, die Sprache des extrahierten Texts zu ändern. Standardmäßig ist Englisch ausgewählt.
• Skalierung (Scale) – der Skalierungsfaktor des ausgewählten UI-Elements oder Bilds. Je höher die Zahl ist, desto mehr vergrößern Sie das Bild. Dies kann zu einer besseren OCR-Erkennung führen und wird bei kleinen Bildern empfohlen.
• Wortinfo abrufen(Get Words Info) – Ruft die Position jedes einzelnen extrahierten Worts am Bildschirm ab.

Neben dem Abrufen von Text aus einem angegebenen UI-Element können Sie auch den Wert mehrerer Attributtypen, seine genaue Bildschirmposition und seine Vorgänger extrahieren.

Diese Art von Informationen kann über dedizierte Aktivitäten extrahiert werden, die sich im Panel Aktivitäten (Activities) unter UI Automation > Element > Find und UI Automation > Element > Attribute befinden.

Diese Aktivitäten sind:

• Vorgänger abrufen (Get Ancestor) – Ermöglicht das Abrufen eines Vorgängers aus einem angegebenen UI-Element. Sie können angeben, auf welcher Ebene der UI-Hierarchie der Vorgänger gefunden werden soll und die Ergebnisse in einer UiElement-Variable speichern.

  
  

  

  
  

• Attribut abrufen (Get Attribute) – ruft den Wert des angegebenen UI-Element-Attributs ab. Sobald Sie das UI-Element am Bildschirm angeben, wird eine Drop-down-Liste mit allen verfügbaren Attributen angezeigt.

  
  

  

  
  

• Position abrufen (Get Position) – Ruft das umgebende Rechteck des angegebenen UiElements ab und unterstützt nur Rechtecks-Variablen.

  
  

  

  
  

UiPath Studio verfügt außerdem über Relatives Scraping(Relative Scraping), eine Scraping-Methode, die den Speicherort des Texts identifiziert, der relativ zu einem Anker abgerufen werden soll. Mehr dazu finden Sie hier.

Sie können Tabellen auch aus unstrukturierten Daten generieren und die Informationen in DataTable-Variablen speichern, indem Sie den Screen-Scraping-Assistenten (Screen Scraping Wizard) verwenden. Weitere Informationen entnehmen Sie dem Abschnitt Tabellen aus unstrukturierten Daten generieren (Generating Tables from Unstructured Data).