Document Understanding
Neuestes
False
Document Understanding-Benutzerhandbuch für die moderne Umgebung
Last updated 28. Juni 2024

Den Projekterfolg evaluieren

Anhand der auf dieser Seite beschriebenen Metriken können Sie den Erfolg Ihrer Projekte ermitteln.

Hauptmetrik

Die relevanteste Metrik ist die geschätzte Zeitersparnis, ausgedrückt in Anzahl von Stunden. Diese Kennzahl kann direkt dem ROI zugeordnet werden. Sie verfolgt die Zeit, die mit einem Document Understanding-Prozess eingespart wird, wenn man bedenkt, dass ein Mensch eine Dokumentenseite in der konfigurierten Zeit bearbeitet. Die Metrik verwendet die folgende Formel:

{Geschätzte Zeitersparnis} = {Anzahl der verarbeiteten Dokumente} * {x} (Minuten) - {Validierungszeit}

  • Anzahl der verarbeiteten Dokumente: Die Gesamtzahl der mit der Automatisierung verarbeiteten Dokumente.
  • x: Die Zeit, die ein Benutzer benötigen würde, um ein Dokument ohne Automatisierung zu bearbeiten.
  • Validierungszeit: Die Zeit, die der Benutzer in der Classification Station oder Validation Station verbracht hat, um alle verarbeiteten Dokumente zu validieren. Dies gilt als 0 für Dokumente, die nicht validiert werden müssen.
Beispiel:

10 Minuten = 2 Dokumente * 5 Minuten (manuelle Verarbeitung) - 0 Minuten Validierung

Sekundäre Metriken

Neben der geschätzten Zeitersparnis gibt es noch andere wichtige Messgrößen, die zur Bewertung der Leistung und des Erfolgs eines Projekts herangezogen werden sollten.

Tabelle 1. Sekundäre Metriken
MetrikBeschreibungWann nachverfolgt werden soll
Anzahl der verarbeiteten DokumenteDie Gesamtzahl der verarbeiteten Dokumente.Verwenden Sie diese Metrik für:
  • Verfolgen Sie, wie viele Dokumente Sie über die Automatisierung verarbeitet haben.
  • Verfolgen Sie, wie viele Dokumente Sie im Vergleich zur manuellen Bearbeitung automatisiert verarbeitet haben.
ValidierungszeitDie Gesamtzeit, die für die Validierung der Klassifizierungs- und Extraktionsergebnisse aufgewendet wird. Verwenden Sie diese Metrik für:
  • Verfolgen Sie, wie viel Zeit ein Mensch in der Schleife noch benötigt.
  • Prüfen Sie, ob die Validierung durch Automatisierung und Modellaktualisierungen verbessert wird.
Durchschnittliche BearbeitungszeitDie durchschnittliche Zeit für die Bearbeitung eines Dokuments, einschließlich der Zeit, die die Benutzer mit der Validierung verbringen, und unter Berücksichtigung von 0 für Dokumente, die keine Validierung erfordern. Die folgende Formel wird verwendet:

{Durchschnittliche Bearbeitungszeit} = sum of({Zeitaufwand für die Verarbeitung von Dokumenten} / {Anzahl der verarbeiteten Dokumente})

Beispiel: Wenn 10 Dokumente verarbeitet werden und es 2 Minuten pro Dokument dauert, kommen bei 5 Dokumenten, die von einem Menschen in der Schleife validiert werden, 2 weitere Minuten hinzu:

(2*5 + 4*5 = 3 Minuten Durchschnittliche Bearbeitungszeit

Mit dieser Metrik können Sie verfolgen, wie viel Zeit die Benutzer für die Bearbeitung eines Dokuments benötigen, nachdem Sie die Automatisierung eingeführt haben.
Trend bei FeldkorrekturenDie Anzahl der korrigierten Felder nach Feldänderung (bearbeiteter Wert, bearbeitetes Feld, als fehlend markiert usw.) pro Monat. Zusätzlich zu den Korrekturen bietet die Metrik auch eine Basis für die Gesamtanzahl der Felder, sodass Sie feststellen können, wie viele der Gesamtfelder korrigiert wurden. Verwenden Sie diese Metrik für:
  • Prüfen Sie, ob die Anzahl der geänderten Felder im Laufe der Zeit zunimmt.
  • Prüfen Sie, ob neuere Modellversionen mehr oder weniger menschlichen Einsatz erfordern.
  • Überprüfen Sie, warum die Validierung zu lange dauert.

Die Projektmetriken verbessern

Mit den folgenden Tipps und Tricks können Sie Ihre Projekterfolgsmetriken verbessern:
  • So können Sie die geschätzte Zeitersparnis verbessern:
    • Erhöhen Sie das Volumen der zu verarbeitenden Dokumente.
    • Verbessern Sie die Validierungszeit und die direkte Verarbeitung, indem Sie Geschäftsregeln hinzufügen.
  • So verbessern Sie die Validierungszeit und die durchschnittliche Bearbeitungszeit:
    • Definieren Sie die Logik, mit der entschieden wird, ob Dokumente zur Validierung an eine Person in der Schleife gesendet werden sollen oder nicht.
    • Optimieren Sie Ihr Modell und fügen Sie Trainingsdaten für Felder hinzu, die nicht genau extrahiert werden. Nutzen Sie den Trend zu Feldkorrekturen, um herauszufinden, welche Felder die meiste Aufmerksamkeit erfordern, und konzentrieren Sie sich auf die Verbesserung der Extraktion in diesen Bereichen.
    • Verwenden Sie die Funktion „Generative Validierung“.
  • Hauptmetrik
  • Sekundäre Metriken
  • Die Projektmetriken verbessern

War diese Seite hilfreich?

Hilfe erhalten
RPA lernen – Automatisierungskurse
UiPath Community-Forum
UiPath Logo weiß
Vertrauen und Sicherheit
© 2005-2024 UiPath. All rights reserved.