Prüfung von LLM-Interaktionen

AI Trust Layer-Prüfung für unstrukturierte und komplexe Dokumente; welche LLM-Eingaben und -Ausgaben für Dokumentextraktionsvorgänge aufgezeichnet werden und wie sie auf Compliance überprüft werden.

Die Funktion „Unstrukturierte und komplexe Dokumente“ sendet alle LLM-Anforderungen (Large Language Model) über den UiPath AI Trust Layer™, der jeden Dokumentenextraktionsvorgang in einem Prüfungsprotokoll aufzeichnet. Das Prüfungsprotokoll bietet Administratoren einen Überblick über die an LLMs gesendeten Daten und die von ihnen zurückgegebenen Antworten, wodurch die Anforderungen an Compliance, Governance und Datentransformation unterstützt werden.

Prüfungseinträge anzeigen

Jede Extraktion wird auf der Registerkarte Prüfung der Seite „AI Trust Layer“ unter dem Produktnamen IXP angezeigt, einschließlich der an das Large Language Model (LLM) gesendeten Eingaben und der zurückgegebenen Ausgaben sowohl für Anforderungen zur Entwurfszeit als auch für Laufzeit.

Einträge bleiben 60 Tage lang sichtbar und Sie können sie für längere Aufbewahrungszeiträume exportieren. Weitere Informationen zur Prüfungsansicht, zu Exporten und zur Aufbewahrung finden Sie unter Anzeigen von Prüfungsprotokollen.

Wie Extraktionsvorgänge aufgezeichnet werden

Jeder Dokumentverarbeitungsauftrag wird als einzelne geprüfte Aktion aufgezeichnet. Ein Auftrag kann mehrere zugrunde liegende LLM-Anforderungen beinhalten, wie z. B. eine Vorverarbeitung gefolgt von einer Extraktion, aber diese werden zusammen als ein Eintrag angezeigt.

Extraktionsvorgänge werden in beiden Kontexten geprüft, in denen Vorhersagen generiert werden:

• Entwurfsphase: Vorhersagen, die beim Erstellen und Validieren des Modells generiert werden, z. B. in der Anmerkungsansicht.
• Runtime: Vorhersagen, die von veröffentlichten Modellen, über Studio-Workflows oder die API angefordert wurden.

Geprüfte Eingaben

Die für einen Extraktionsvorgang aufgezeichnete Eingabe umfasst Folgendes:

• Projekt-ID.
• Modellversion.
• Dateiname des verarbeiteten Dokuments.
• Anforderungstyp: Entwurfsphase oder Runtime.
• Aufforderung, erstellt aus der Taxonomie und den Feldanweisungen.
• Modellkonfiguration: Die Vorverarbeitungsoption und die erweiterten Optionen (Zuordnungsmethode, Temperatur, Top P, Startwert und Häufigkeitsstrafe).

Geprüfte Ausgaben

Die für einen Extraktionsvorgang aufgezeichnete Ausgabe ist die unformatierte LLM-Antwort für die Extraktionsanforderung, die die für das Dokument zurückgegebenen Vorhersagen enthält.

Was nicht geprüft wird

Prüfungseinträge enthalten nicht Folgendes:

• Eingabe und Ausgabe für Vor- oder Nachverarbeitungsschritte.
• Implementierungsdetails zu wertvollen Funktionen oder Unterscheidungsmerkmalen. Zum Beispiel: intelligente Vorverarbeitungsoptionen, Details zur Zuordnungsimplementierung.

Geprüfte Daten kontrollieren

Automation Ops-Richtlinien für das AI Trust Layer steuern, wie Prüfungsdaten behandelt werden: Sie können das Speichern von Eingaben und Ausgaben deaktivieren oder personenbezogene Daten (PII) maskieren, bevor Anforderungen das LLM erreichen. Weitere Details finden Sie in den folgenden Ressourcen:

• Governance
• Einstellungen für AI Trust Layer-Richtlinien