Beispiel der Verwendung von OCR- und Bildautomatisierung

Da OCR- und Bildautomatisierung normalerweise aufgrund der Schwierigkeit von Automatisierung in virtuellen Umgebungen Hand in Hand gehen, haben wir eine Automatisierung erstellt, die die E-Mail-Adresse eines Mitarbeiters und die Rechnungsnummer aus einer gescannten Rechnung abruft. Danach gibt sie die Information in eine „Dummy-Ausgaben-App“ (ExpenseIt) auf einer virtuellen Maschine ein und vergleicht die Summe der Rechnung mit der in der App:

1. Erstellen einer neuen Sequence.
2. Öffnen Sie die gescannte Rechnung. Die im Beispiel verwendete Rechnung kann hier heruntergeladen werden. Wir empfehlen aus Kompatibilitätsgründen, Adobe Acrobat Reader zu verwenden.
3. Wie hier erläutert, müssen Sie die E-Mail des Mitarbeiters anhand von OCR-Technologie scrapen. Ein Container namens Fenster anhängen (Attach Window) wird generiert, der in diesem Beispiel in PDF anhängen (Attach PDF) umbenannt wurde. Dieser enthält den Selektor und informiert alle übrigen Aktivitäten darüber, wo Aktionen ausgeführt werden sollen. Darin enthalten sind eine Aktivität Bild suchen (Find Image), mit welcher der Anker für relatives Scraping ausgewählt wird, eine Aktivität OCR-Text abrufen (Get OCR Text), mit der die E-Mail-Adresse des Mitarbeiters abgerufen wird, und zwei Aktivitäten Clipping-Bereich einstellen (Set Clipping Region), eine zum Übersetzen des ersten Clipping-Bereichs und eine weitere zum Zurücksetzen des Clipping-Bereichs.
4. Erstellen Sie im Variables Panel eine neue Variable GenerischerWert (GenericValue) mit dem Namen email.
5. Geben Sie die Variable E-Mail in die Eigenschaft Text (Text) der zuvor generierten Aktivität OCR-Text abrufen (Get OCR Text) ein.
6. Benennen Sie die oben stehende Sequence Read Email.
   
   

   

   
   

   Note: Die von UiPath Studio ausgewählten OCR-Engines haben ihre Vor- und Nachteile, ihre Nutzung hängt von den jeweiligen Gegebenheiten ab. Die Auswahl ist davon abhängig, welche am besten in jeder Situation funktioniert. Durch Änderung der OCR-Engine für verschiedene Aufgaben können Sie Ihre Ergebnisse verbessern.
7. Wie hier erläutert, müssen Sie die Rechnungsnummer anhand von OCR-Technologie scrapen. Ein Container namens Fenster anhängen (Attach Window) wird generiert, der in diesem Beispiel in PDF anhängen (Attach PDF) umbenannt wurde. Dieser enthält den Selektor und informiert alle übrigen Aktivitäten darüber, wo Aktionen ausgeführt werden sollen. Darin enthalten sind eine Aktivität Bild suchen (Find Image), mit welcher der Anker für relatives Scraping ausgewählt wird, eine Aktivität OCR-Text abrufen (Get OCR Text), mit der die Rechnungsnummer des Mitarbeiters abgerufen wird, und zwei Aktivitäten Clipping-Bereich einstellen (Set Clipping Region), eine zum Übersetzen des ersten Clipping-Bereichs und eine weitere zum Zurücksetzen des Clipping-Bereichs.
8. Erstellen Sie im Variablen-Panel(Variables Panel) eine neue Variable GenerischerWert (GenericValue) mit dem Namen invoiceNo.
9. Geben Sie die Variable invoiceNo in die Eigenschaft Text (Text) der zuvor generierten Aktivität OCR-Text abrufen (Get OCR Text) ein.
10. Benennen Sie die oben stehende Sequence Read Invoice Number
    
    

    

    
    
11. Wie hier erklärt, extrahieren Sie die Gesamtausgaben des Mitarbeiters mithilfe von OCR-Technologie. Der Recorder generiert einen PDF anhängen (Attach PDF)-Container mit dem Selektor und lässt alle anderen Aktivitäten wissen, wo die Aktivitäten auszuführen sind. Darin enthalten sind die Aktivitäten Bild finden (Find Image), die den Anker für das relative Scraping auswählt, OCR-Text abrufen (Get OCR Text), die die Gesamtkosten des Mitarbeiters abruft und zwei Clippingbereich festlegen (Set Clipping Region)-Aktivitäten: eine, um den ersten Clippingbereich in den zweiten zu überführen, und die andere, um den Clippingbereich zurückzusetzen.
12. Erstellen Sie im Variables Panel eine neue Variable GenerischerWert (GenericValue) mit dem Namen totalValue.
13. Geben Sie die Variable totalValue in die Eigenschaft Text (Text) der zuvor generierten Aktivität OCR-Text abrufen (Get OCR Text) ein.
14. Benennen Sie die oben stehende Sequence Read Total Expenses.
    
    

    

    
    

    Hinweis: Ein optimales Verfahren, um Anwendungen in Umgebungen mit virtuellen Maschinen zu öffnen, ist die Erstellung einer Verknüpfung für die Anwendung, die auf dem Desktop der Maschine geöffnet wird, und der Zuweisung eines Hotkey. Das Klicken auf das Symbol der Anwendung durch Click OCR Text kann aufgrund von Änderungen der Hintergrundfarbe oder des ausgewählten Symbols fehlschlagen.
15. Erstellen Sie auf dem Desktop der virtuellen Maschine eine Verknüpfung für die Anwendung ExpenseIt.
16. Klicken Sie mit der rechten Maustaste auf die Verknüpfung und wählen Sie aus dem Kontextmenü Eigenschaften (Properties) aus. Das Fenster Shortcut Properties wird angezeigt.
17. Weisen Sie der App einen Hotkey im Feld Shortcut Key auf der Registerkarte Shortcut zu, indem Sie die Tasten drücken, die Sie verwenden möchten, z. B. Alt+Strg+T.
    
    

    

    
    
18. Starten Sie eine neue Aufzeichnungssitzung, indem Sie denCitrix-Aufzeichnungsassistenten öffnen.
19. Zeichnen Sie auf, wie Sie den Hotkey, der zuvor der Verknüpfung der Anwendung zugewiesen wurde, an das Fenster der virtuellen Maschine senden.
20. Verwenden Sie Relatives Scraping(Relative Scraping), um auf das Feld E-Mail (Email) in der Anwendung ExpenseIt basierend auf der Position des Labels zu klicken.
21. Geben Sie die Variable email in das Feld E-Mail (Email) der Anwendung ExpenseIt ein.
22. Verwenden Sie Relatives Scraping(Relative Scraping), um auf das Feld Mitarbeiternummer(Employee Number) in der Anwendung ExpenseIt basierend auf der Position des Labels zu klicken.
23. Geben Sie die Variable invoiceNo in das Feld Mitarbeiternummer(Employee Number) der Anwendung ExpenseIt ein.
24. Klicken Sie im Aufzeichnungsassistenten (Recording Wizard) auf Speichern & Beenden (Save & Exit). Der Recorder generiert einen Fenster anhängen (Attach Window)-Container mit dem Selektor und lässt alle anderen Aktivitäten wissen, wo die Aktionen auszuführen sind. Er enthält eine Hotkey senden (Send Hotkey)-Aktivität, eine Auf Bild klicken (Click Image)-Aktivität, die auf das Feld rechts neben dem Label E-Mail (Email) klickt, eine SchreibenIn (Type Into)-Aktivität, die die E-Mail-Variable in das Feld eingibt, eine Auf Bild klicken (Click Image)-Aktivität, die auf das Feld rechts neben dem Label Mitarbeiternummer (Employee Number) klickt und eine SchreibenIn (Type Into)-Aktivität, die die Variable invoiceNo in das Feld eingibt.
    
    

    

    
    
25. Starten Sie eine neue Aufzeichnungssitzung, indem Sie denCitrix-Aufzeichnungsassistenten öffnen.
26. Klicken Sie in der Anwendung ExpenseIt auf die Schaltfläche Create Expense Report.
27. Verwenden Sie Relative Scraping, um den Wert, der mit dem Label Total Expenses ($) übereinstimmt, zu extrahieren.
28. Klicken Sie auf Save & Exit im Recording Wizard. Der Recorder generiert einen Fenster anhängen (Attach Window)-Container mit dem Selektor und lässt alle anderen Aktivitäten wissen, wo sie Aktionen auszuführen sind. Er enthält eine Auf OCR-Text klicken (Click OCR Text)-Aktivität, die auf die Schaltfläche Create Expense Report klickt, eine Bild finden (Find Image)-Aktivität, die den Anker für das relative Scraping setzt, eine OCR-Text abrufen (Get OCR Text)-Aktivität, die den Gesamtausgabenwert abruft, und zwei Clippingbereich festlegen (Set Clipping Region)-Aktivitäten, eine, um den ersten Clippingbereich in den zweiten zu überführen, und die zweite, um den Clippingbereich zurückzusetzen.
    
    

    

    
    
29. Erstellen Sie im Variablen-Panel(Variables Panel) eine neue Variable GenerischerWert (GenericValue) mit dem Namen totalExpense.
30. Geben Sie die Variable totalExpense in des Eigenschaftsfeld Text (Text) der zuvor generierten Aktivität OCR-Text abrufen (Get OCR Text) ein.
31. Ziehen Sie eine Wenn (If)-Aktivität nach der letzten aufgenommenen Sequence hinzu.
32. Legen Sie die Eigenschaft Bedingung (Condition) der Aktivität Wenn (If) auf totalExpense = totalValue fest. Das bedeutet, dass die Automatisierung überprüft, ob der Gesamtwert der Rechnung dem Wert der Ausgabenanwendung entspricht.
33. Ziehen Sie eine Nachrichtenbox (Message box)-Aktivität in den Abschnitt Dann (Then) der Aktivität Wenn (If).
34. Geben Sie in das Eigenschaftsfeld Text derNachrichten-Box (Message Box) eine Nachricht ein, die angibt, dass die Werte übereinstimmen und die Rechnung somit korrekt ist.
35. Ziehen Sie eine Nachrichtenbox (Message box)-Aktivität in den Abschnitt Sonst (Else) der Aktivität Wenn (If).
36. Geben Sie in das Eigenschaftsfeld Text derNachrichten-Box (Message Box) eine Nachricht ein, die angibt, dass die Werte nicht übereinstimmen und die Rechnung somit nicht korrekt ist.
    
    

    

    
    
37. Drücken Sie F5, um die Automatisierung auszuführen. Beachten Sie, dass die Automatisierung die Mitarbeiterdaten aus der gescannten Rechnung in die Anwendung ExpenseIt überträgt, den Gesamtwert der Rechnung mit den registrierten Gesamtkosten vergleicht und den Benutzer darüber informiert, ob die Werte gleich sind oder nicht.

Da diese Automatisierung die Verbindung mit einer virtuellen Maschine erfordert, ist das Hochladen des ursprünglichen Projekts überflüssig, da es auf einem anderen Computer nicht funktionieren würde. Wir empfehlen Ihnen, Ihr eigenes Projekt zu erstellen, indem Sie die obigen Schritte befolgen.