Prüfung von LLM-Interaktionen

AI Trust Layer-Prüfung der Dokumentextraktionsvorgänge des Extraktionsknotens in UiPath Maestro™ Flow, der LLM-Eingaben und -Ausgaben darin und deren Überprüfung.

Der Flow Extract- Knoten sendet alle seine Large Language Model (LLM)-Anforderungen über den UiPath AI Trust Layer™, der jeden Dokumentextraktionsvorgang in einem Prüfungsprotokoll aufzeichnet. Das Prüfungsprotokoll bietet Administratoren einen Überblick über die an LLMs gesendeten Daten und die von ihnen zurückgegebenen Antworten, wodurch die Anforderungen an Compliance, Governance und Datentransformation unterstützt werden.

Prüfungseinträge anzeigen

Jeder Extraktionsvorgang wird auf der Registerkarte Prüfung der Seite „AI Trust Layer“ unter dem Produktnamen IXP angezeigt, einschließlich der an das Large Language Model (LLM) gesendeten Eingaben und der zurückgegebenen Ausgaben sowohl für Entwurfszeit- als auch für Laufzeitanforderungen.

Einträge bleiben 60 Tage lang sichtbar und Sie können sie für längere Aufbewahrungszeiträume exportieren. Weitere Informationen zur Prüfungsansicht, zu Exporten und zur Aufbewahrung finden Sie unter Anzeigen von Prüfungsprotokollen.

Wie Extraktionsvorgänge aufgezeichnet werden

Jeder Dokumentverarbeitungsauftrag wird als einzelne geprüfte Aktion aufgezeichnet. Ein Auftrag kann mehrere zugrunde liegende LLM-Anforderungen beinhalten, wie z. B. eine Vorverarbeitung gefolgt von einer Extraktion, aber diese werden zusammen als ein Eintrag angezeigt.

Extraktionsvorgänge werden in beiden Kontexten geprüft, in denen Vorhersagen generiert werden:

• Entwurfsphase: Vorhersagen, die während des Erstellens und Auswertens des Extraktionsmodells des Extraktionsknotens generiert werden.
• Runtime: Vorhersagen, die angefordert werden, wenn der Extract Node als Teil eines bereitgestellten Flows ausgeführt wird.

Geprüfte Eingaben

Die für einen Extraktionsvorgang aufgezeichnete Eingabe umfasst Folgendes:

• Projekt-ID.
• Modellversion.
• Dateiname des verarbeiteten Dokuments.
• Anforderungstyp: Entwurfsphase oder Runtime.
• Aufforderung, erstellt aus der Taxonomie und den Feldanweisungen.
• Modellkonfiguration: Die Vorverarbeitungsoption und die erweiterten Optionen (Zuordnungsmethode, Temperatur, Top P, Startwert und Häufigkeitsstrafe).

Geprüfte Ausgaben

Die für einen Extraktionsvorgang aufgezeichnete Ausgabe ist die unformatierte LLM-Antwort für die Extraktionsanforderung, die die für das Dokument zurückgegebenen Vorhersagen enthält.

Was nicht geprüft wird

Prüfungseinträge enthalten nicht Folgendes:

• Eingabe und Ausgabe für Vor- oder Nachverarbeitungsschritte.
• Implementierungsdetails zu wertvollen Funktionen oder Unterscheidungsmerkmalen. Zum Beispiel: intelligente Vorverarbeitungsoptionen, Details zur Zuordnungsimplementierung.

Geprüfte Daten kontrollieren

Automation Ops-Richtlinien für das AI Trust Layer steuern, wie Prüfungsdaten behandelt werden: Sie können das Speichern von Eingaben und Ausgaben deaktivieren oder personenbezogene Daten (PII) maskieren, bevor Anforderungen das LLM erreichen. Weitere Details finden Sie in den folgenden Ressourcen:

• Governance
• Einstellungen für AI Trust Layer-Richtlinien